Kekurangan GPU dalam AI tidak pernah tentang chip. Kami memiliki banyak. Krisis sebenarnya adalah kita masih tidak dapat menggunakan sebagian besar dari mereka. Inilah alasannya 🧵

@cot_research 2/ Lihat celahnya: Komputasi sukarela seperti Folding@Home bekerja dengan baik pada perangkat keras konsumen. Bahkan @pewdiepie melakukan pekerjaan hebat dan berkontribusi! Namun, beban kerja AI modern akan gagal. Kumpulan perangkat keras yang sama. Hasil yang sangat berbeda. Mengapa?

3/ Runtime AI modern (inferensi atau pelatihan) mengasumsikan kondisi steril: - GPU identik - Tautan stabil latensi rendah Dunia nyata, bagaimanapun, adalah kekacauan mesin heterogen dan internet yang lamban Tumpukan teknologi standar runtuh di sini.

4/ Banyak yang disebut jaringan komputasi "terdesentralisasi" belum mencapai kecocokan pasar produk karena mereka memperlakukan kekacauan ini sebagai kasus tepi. Mereka membangun marketplace untuk menggabungkan GPU yang menganggur, tetapi agregasi bukanlah koordinasi. Jika perangkat keras tidak dapat berperilaku seperti satu mesin yang koheren, itu ... agak tidak berguna

5/ Koordinasi adalah hulu. Dalam jaringan komputasi: jika Anda tidak menyelesaikan koordinasi perangkat keras yang terfragmentasi terlebih dahulu, tidak ada hal lain yang Anda bangun yang penting. Keandalan dan Pengalaman Pengembang adalah masalah hilir.

6/ @YottaLabs adalah tim pertama yang saya lihat menangani ini dari bawah ke atas dan membuat kemajuan yang kuat. Dengan membangun kembali tumpukan AI, dari penjadwal ke lapisan komunikasi, mereka telah membawa kinerja komputasi terdesentralisasi ke ~15% dari kluster terpusat.

7/ Yang lebih menarik adalah model bisnis @YottaLabs. Pasar adalah sekunder. Mereka membangun parit data dalam ketahanan operasional yang tidak dapat ditiru oleh Google - pengoptimal cerdas Yotta memasukkan setiap lonjakan termal dan cegukan jaringan kembali ke pengoptimal mereka. Lebih lanjut tentang ini nanti.