「0GはどのようにしてAIインクルージョンを実現するのか?」 覇権という言葉は、ドル覇権、チップ横暴など、現代では新しいものではありません 21世紀、科学技術の急速な発展に伴い、AIは人類社会の最も先進的な結晶化@0G_labsです AI はモデルに最も依存しており、モデルのトレーニングは現時点では技術的な問題ではなく、リソースの権利の問題です スーパーコンピューティング センター、高速帯域幅、同期 GPU クラスターを備えて、100B パラメーターを持つ大規模モデルをトレーニングできる企業はごくわずかであり、それ自体が力の分割線です 🟣 そして@0G_labsはその一線を破っています DiLoCoXは0Gの最新キングボムです 彼らは、160台のA800のクラスターを使用して、帯域幅がわずか1Gbpsのネットワーク環境で107Bパラメータモデルの分散トレーニングを正常に完了しました スーパーコンピューティングも、ファイバー相互接続も、大手メーカーのトレーニングの場もなく、Infinibandさえもありません 最終モデルの精度損失は 0.5% 未満で、トレーニング効率は従来の AllReduce アーキテクチャの 357 倍以上です @0G_labsはこれを、通信の少ない環境向けに調整された分散トレーニングフレームワークであるDiLoCoXと呼んでいます 重要なのは、レイテンシーを許容し、非同期をサポートし、さまざまな場所で独立して進み、最終的に集約できるトレーニングメカニズムを構築することです この問題の意味は、単にお金を節約することだけではありません 🟣 #0G モデル構築プロセスの集中化を打破すると、参加の境界が緩みます 以前はほとんどの国、企業、開発者にとって手の届かなかったものが、今では次のとおりです。 > 大学は 10 の中小企業を団結させて垂直モデルを共同でトレーニングできます > アフリカの国は、AWS や Google Cloud を使用せずにオンプレミスのインテリジェント システムをデプロイできます > 分散コミュニティは、スマート資産をインセンティブとして使用して、ロングテールの共同トレーニングを実現し、オンチェーンで GPU とデータを調整できます 現在のAI戦争は製品ではなく、リソースに関するものです 優れたアルゴリズムアーキテクチャを持っていても、効率的にトレーニングできなければ、常にプロトタイプや微調整の段階で止まってしまいます 従来のモードでは、トレーニングに必要な同期とネットワーク帯域幅自体がコスト爆弾であり、中央クラウドベンダーの中核的な堀を構成します DiLoCoXは、真のAIインクルージョンを実現するために、この依存を底から取り除き始めました