Niedobór GPU w AI nigdy nie dotyczył chipów. Mamy ich pod dostatkiem. Prawdziwy kryzys polega na tym, że wciąż nie możemy wykorzystać większości z nich. Oto dlaczego 🧵

@cot_research 2/ Zobacz na lukę: Wolontariackie obliczenia, takie jak Folding@Home, działają dobrze na sprzęcie konsumenckim. Nawet @pewdiepie wykonuje świetną pracę i przyczynia się do tego! Nowoczesne obciążenia AI jednak zawiodą. Ta sama pula sprzętowa. Bardzo różny wynik. Dlaczego?

3/ Nowoczesne środowiska uruchomieniowe AI (wnioskowanie lub trening) zakładają sterylne warunki: - Identyczne GPU - Niskolatencyjne, stabilne połączenia Jednak prawdziwy świat to bałagan heterogenicznych maszyn i opóźnionego internetu Standardowy stos technologiczny tutaj się załamuje.

4/ Wiele tzw. "zdecentralizowanych" sieci obliczeniowych nie osiągnęło dopasowania produktu do rynku, ponieważ traktują ten bałagan jako przypadek marginalny. Budują rynki, aby agregować nieużywane GPU, ale agregacja to nie koordynacja. Jeśli sprzęt nie może działać jak jedna spójna maszyna, to jest... dość bezużyteczne.

5/ Koordynacja jest na górze. W sieciach obliczeniowych: jeśli najpierw nie rozwiążesz koordynacji fragmentowanego sprzętu, nic innego, co zbudujesz, nie ma znaczenia. Niezawodność i doświadczenie dewelopera to problemy na dole.

6/ @YottaLabs to pierwszy zespół, który widziałem, który podjął się tego od podstaw i osiągnął znaczący postęp. Przez przebudowę stosu AI, od harmonogramu po warstwę komunikacyjną, zbliżyli wydajność obliczeń zdecentralizowanych do ~15% wydajności klastrów scentralizowanych.

7/ Co jest jeszcze bardziej interesujące, to model biznesowy @YottaLabs. Rynek jest wtórny. Budują mur danych w zakresie odporności operacyjnej, którego Google nie może skopiować - inteligentny optymalizator. Yotta przekazuje każdy wzrost temperatury i zakłócenie sieci z powrotem do swojego optymalizatora. Więcej na ten temat później.