„Wie ermöglicht 0G AI für alle?“ Der Begriff Hegemonie ist in der modernen Welt nicht neu, wie zum Beispiel die Hegemonie des US-Dollars, die Dominanz von Chips usw. Im 21. Jahrhundert, in dem sich die Technologie rasant entwickelt, ist AI das fortschrittlichste Produkt der menschlichen Gesellschaft @0G_labs. AI ist stark von Modellen abhängig, und das Training von Modellen ist heutzutage kein technisches Problem mehr, sondern ein Problem der Ressourcenverteilung. Nur wenige Unternehmen verfügen über Supercomputerzentren, Hochgeschwindigkeitsbandbreiten und synchronisierte GPU-Cluster. Das Training eines großen Modells mit 100B Parametern ist an sich bereits eine Machtgrenze. 🟣 Und @0G_labs bricht diese Grenze. DiLoCoX ist der neueste Coup von 0G. Sie haben in einer Netzwerkumgebung mit nur 1Gbps Bandbreite erfolgreich ein verteiltes Training eines Modells mit 107B Parametern abgeschlossen, wobei die verwendeten Rechenressourcen aus einem Cluster von 160 A800 bestehen. Ohne Supercomputer, ohne Glasfaserverbindungen, ohne Trainingsstätten großer Unternehmen, sogar ohne Infiniband. Der endgültige Verlust an Modellgenauigkeit liegt unter 0,5 %, die Trainingseffizienz wurde im Vergleich zur traditionellen AllReduce-Architektur um über 357-fach gesteigert. @0G_labs nennt es DiLoCoX, ein für Umgebungen mit geringer Kommunikation maßgeschneidertes verteiltes Trainingsframework. Der Schlüssel liegt darin, einen Trainingsmechanismus zu schaffen, der Verzögerungen toleriert, asynchron unterstützt, an verschiedenen Orten unabhängig vorangetrieben werden kann und schließlich aggregiert wird. Die Bedeutung dieser Sache liegt nicht nur im Geldsparen. 🟣 #0G bricht die Zentralisierung des Modellaufbaus auf und bringt eine Lockerung der Teilnahmegrenzen. Für die meisten Länder, Unternehmen und Entwickler sind Dinge, die früher unerreichbar schienen, jetzt: > Eine Hochschule kann sich mit zehn kleinen Unternehmen zusammenschließen, um gemeinsam ein spezialisiertes Modell zu trainieren. > Ein afrikanisches Land kann ohne AWS oder Google Cloud lokale intelligente Systeme bereitstellen. > Eine verteilte Gemeinschaft kann auf der Blockchain GPU und Daten koordinieren und intelligente Vermögenswerte als Anreiz nutzen, um eine langfristige kooperative Ausbildung zu erreichen. Der aktuelle AI-Krieg findet nicht im Produkt, sondern in den Ressourcen statt. Selbst wenn Sie über hervorragende Algorithmusarchitekturen verfügen, wenn Sie nicht effizient trainieren können, werden Sie immer nur im Prototyp- oder Feinabstimmungsstadium bleiben. Und im traditionellen Modell sind die für das Training erforderliche Synchronität und Netzwerkbandbreite an sich bereits Kostenbomben und bilden die zentrale Verteidigungslinie der Cloud-Anbieter. DiLoCoX beginnt, diese Abhängigkeit von der Basis zu lösen und ermöglicht echte AI für alle.