Lipsa GPU-urilor în AI nu a fost niciodată despre cipuri. Avem destule. Adevărata criză este că încă nu putem folosi majoritatea dintre ele. Iată de ce 🧵

@cot_research 2/ Uită-te la decalaj: Calculul voluntar ca Folding@Home funcționează bine pe hardware de consum. Chiar și @pewdiepie face o treabă grozavă și contribuie! Totuși, sarcinile moderne de AI vor eșua. Același pool de hardware. Rezultat foarte diferit. De ce?

3/ Runtime-urile AI moderne (inferență sau antrenament) presupun condiții sterile: - GPU-uri identice - Legături stabile cu latență mică Lumea reală, însă, este un haos de mașini eterogene și internet cu lag Tehnologia standard se prăbușește aici.

4/ Multe rețele de calcul așa-numite "descentralizate" nu au atins potrivirea cu piața produsului pentru că tratează acest haos ca pe un caz limită. Ei construiesc piețe pentru a agrega plăci video inactive, dar agregarea nu este coordonare. Dacă hardware-ul nu se poate comporta ca o singură mașină coerentă, e... Cam inutil

5/ Coordonarea este în amonte. În rețelele de calcul: dacă nu rezolvi mai întâi coordonarea hardware-ului fragmentat, nimic altceva din ce construiești nu contează. Fiabilitatea și experiența dezvoltatorului sunt probleme ulterioare.

6/@YottaLabs este prima echipă pe care am văzut-o abordând această problemă de la zero și făcând progrese puternice. Prin reconstruirea stack-ului AI, de la planificator la stratul de comunicare, au adus performanța de calcul descentralizată la o limită de ~15% dintre clusterele centralizate.

7/ Ce este și mai interesant este modelul de afaceri al lui @YottaLabs. Piața este secundară. Ei construiesc un șanț de date în reziliența operațională pe care Google nu îl poate reproduce – optimizatorul inteligent Yotta realimentează fiecare pic termic și problemă de rețea în optimizerul lor. Mai multe despre asta mai târziu.