Topik trending
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
"Bagaimana 0G mencapai inklusi AI?"
Kata hegemoni bukanlah hal baru di zaman modern, seperti hegemoni dolar, mendominasi chip, dll
Pada abad ke-21, dengan pesatnya perkembangan sains dan teknologi, AI adalah @0G_labs kristalisasi paling canggih dari masyarakat manusia
AI paling bergantung pada model, dan pelatihan model bukanlah masalah teknis saat ini, tetapi masalah hak sumber daya
Hanya beberapa perusahaan yang memiliki pusat superkomputasi, bandwidth berkecepatan tinggi, dan kluster GPU sinkron untuk melatih model besar dengan parameter 100B, yang dengan sendirinya merupakan garis pemisah daya
🟣 Dan @0G_labs melanggar garis itu
DiLoCoX adalah bom raja terbaru dari 0G
Mereka berhasil menyelesaikan pelatihan terdistribusi model parameter 107B di lingkungan jaringan dengan bandwidth hanya 1Gbps, menggunakan cluster 160 A800
Tidak ada superkomputasi, tidak ada interkoneksi serat, tidak ada tempat pelatihan untuk produsen besar, bahkan Infiniband
Model akhir memiliki kehilangan akurasi kurang dari 0,5%, dan efisiensi pelatihan lebih dari 357 kali lebih tinggi daripada arsitektur AllReduce tradisional
@0G_labs menyebutnya DiLoCoX, kerangka kerja pelatihan terdistribusi yang disesuaikan untuk lingkungan komunikasi rendah
Kuncinya adalah membangun mekanisme pelatihan yang mentolerir latensi, mendukung asinkron, dapat maju secara independen di lokasi yang berbeda, dan pada akhirnya agregat
Arti dari hal ini bukan hanya tentang menabung
🟣 #0G Melanggar sentralisasi proses pembangunan model membawa pelonggaran batas-batas partisipasi
Apa yang sebelumnya di luar jangkauan sebagian besar negara, perusahaan, dan pengembang sekarang:
> Sebuah universitas dapat menyatukan sepuluh usaha kecil untuk bersama-sama melatih model vertikal
> Negara Afrika dapat menerapkan sistem cerdas lokal tanpa AWS atau Google Cloud
> Komunitas terdistribusi dapat mengoordinasikan GPU dan data on-chain, menggunakan aset pintar sebagai insentif untuk mencapai pelatihan kolaboratif ekor panjang
Perang AI saat ini bukan tentang produk, tetapi tentang sumber daya
Bahkan jika Anda memiliki arsitektur algoritme yang sangat baik, jika Anda tidak dapat berlatih secara efisien, Anda akan selalu berhenti pada tahap prototipe atau penyempurnaan
Dalam mode tradisional, sinkronisasi dan bandwidth jaringan yang diperlukan untuk pelatihan itu sendiri merupakan bom biaya dan merupakan parit inti dari vendor cloud pusat
DiLoCoX mulai menghilangkan ketergantungan ini dari bawah untuk mencapai inklusi AI yang sebenarnya

2,21K
Teratas
Peringkat
Favorit