GPU-mangelen i AI handlet aldri om brikkene. Vi har nok. Den virkelige krisen er at vi fortsatt ikke kan bruke de fleste av dem. Her er hvorfor 🧵

@cot_research 2/ Se på gapet: Frivillig databehandling som Folding@Home fungerer fint på forbrukermaskinvare. Selv @pewdiepie gjør en flott jobb og bidrar! Moderne AI-arbeidsbelastninger vil imidlertid feile. Samme maskinvarepool. Veldig annerledes utfall. Hvorfor?

3/ Moderne AI-kjøretider (inferens- eller treningstider) antar sterile forhold: - Identiske GPU-er - Lav-latens, stabile lenker Den virkelige verden, derimot, er et rot av heterogene maskiner og tregt internett Den vanlige teknologistakken kollapser her.

4/ Mange såkalte «desentraliserte» datanettverk har ikke nådd produkt-markeds-tilpasning fordi de behandler dette rotet som et kanttilfelle. De bygger markedsplasser for å aggregere inaktive GPU-er, men aggregering er ikke koordinering. Hvis maskinvaren ikke kan oppføre seg som én sammenhengende maskin, er det... Litt ubrukelig

5/ Koordinasjonen skjer oppstrøms. I datanettverk: hvis du ikke løser koordineringen av fragmentert maskinvare først, spiller ingenting annet du bygger noen rolle. Pålitelighet og utvikleropplevelse er problemer nedstrøms.

6/@YottaLabs er det første laget jeg har sett ta tak i dette fra bunnen av og gjøre sterke fremskritt. Ved å bygge om AI-stakken, fra planleggeren til kommunikasjonslaget, har de brakt desentralisert beregningsytelse til innenfor ~15 % av sentraliserte klynger.

7/ Det som er enda mer interessant er @YottaLabs forretningsmodell. Markedet er sekundært. De bygger en datavollgrav i operasjonell robusthet som Google ikke kan gjenskape – den intelligente optimalisatoren Yotta mater hver termisk spike og nettverksfeil tilbake til sin optimalisator. Mer om dette senere.