"La carenza di GPU non è mai stata una questione di chip." Esattamente. Si tratta di capire se possiamo effettivamente utilizzare il calcolo frammentato come un unico sistema. Questa è stata la nostra convinzione fondamentale fin dal primo giorno. Hardware eterogeneo, reti inaffidabili, modalità di fallimento disordinate: questo è lo stato predefinito, non un caso limite. Grato a @tengyanAI per aver dedicato del tempo a comprendere davvero l'architettura — e perché il coordinamento deve venire prima.