Se fossi a16z, yc o sequoia, investirei aggressivamente in startup che stanno costruendo modi innovativi per raccogliere e annotare dati del mondo reale. > Milioni di ore di dati di guida > Operai di fabbrica che interagiscono con elettrodomestici e macchinari pesanti > Segmentazione audio con profonda comprensione dialettale e culturale > Dati sperimentali di laboratorio umido > Raccolta e annotazione continua delle tracce degli agenti su scala computazionale Quando abbiamo costruito i LLM, la maggior parte dei dati esisteva già su Internet. Dovevamo solo raccogliere, pulire e scalare. Ma mentre ci muoviamo verso modelli fondazionali globali, il collo di bottiglia è rappresentato da dati di alta qualità, reali e ben annotati. E la qualità dell'annotazione conta. C'è una differenza enorme tra: "Mela su un albero" e "Mele mature su un albero. Il vento soffia a 2 miglia all'ora. La temperatura è di circa 18°C." La domanda è semplice. Quanto del mondo puoi effettivamente catturare? Oggi, i LLM sanno che le mele cadono a causa della gravità, non perché comprendano la causalità, ma perché comprendono estremamente bene le correlazioni linguistiche. Comprendere la struttura causale viene dopo. Se stessi costruendo verso quel futuro, ancorerei la raccolta dei dati in India e in altre regioni del Sud e Sud-est asiatico. Distribuirei hardware, raccoglierei migliaia di ore di dati sull'attività umana, segnali di salute e parametri vitali, e gestirei continuamente pipeline di annotazione. Giorno e notte. Se fossi a16z, finanziare i fondatori per farlo.

La previsione per quest'anno è che OpenAI acquisirà AMD. Sama sta giocando a scacchi 4D e sta già vincendo. AMD ha bisogno di OpenAI tanto quanto OpenAI ha bisogno di AMD. È iniziato quando AMD ha emesso a OpenAI warrant per 160 milioni di azioni a $0,01 per azione. Le azioni maturano man mano che OpenAI distribuisce 6GW di GPU AMD. Se il titolo raggiunge $600 e OpenAI esercita completamente, quei warrant valgono $96 miliardi (anche grosso modo lo stesso valore dell'hardware nell'accordo stesso). Questo è diverso da come OpenAI ha strutturato il suo accordo con Nvidia. Nvidia ha investito $100 miliardi in OpenAI, con OpenAI che si impegna a distribuire almeno 10 GW di hardware Nvidia. OpenAI è il cliente. Nvidia è l'investitore. OpenAI non detiene alcuna partecipazione in Nvidia. Con AMD, la struttura è invertita. OpenAI diventa un potenziale co-proprietario con influenza sulla strategia aziendale di AMD. Non è così che si struttura un rapporto con un fornitore. È quando si vuole strutturare un precursore all'acquisizione. Il tempismo è la chiave. OpenAI si è appena convertita da nonprofit a azienda a scopo di lucro. La ristrutturazione non riguardava mai il fundraising, Sama può raccogliere capitale infinito. Riguardava l'abilitazione delle complesse fusioni e acquisizioni che le nonprofit non possono fare facilmente. Ecco come appare: > OpenAI controlla il 40% dell'offerta globale di DRAM attraverso accordi con Samsung/SK Hynix > OpenAI ha una partecipazione del 10% in AMD > OpenAI sta sviluppando chip personalizzati con Broadcom > OpenAI sta costruendo i propri chip di inferenza con TSMC > OpenAI ha una partnership da $100 miliardi con Nvidia Potrebbe sembrare un'integrazione verticale, ma Sama sta in realtà tentando una cattura orizzontale dell'intero stack di calcolo AI. AMD è l'unica alternativa credibile a Nvidia per l'iper-scalabilità. Hanno anche acquisito ZT systems, dando loro capacità di produzione di server a rack. Hanno GPU competitive. Ma mancano di un'ancora di domanda garantita. OpenAI fornisce ciò (e potenzialmente molto di più). Se OpenAI acquisisce AMD, questo crea un'azienda AI verticalmente integrata che progetta modelli, progetta chip e controlla l'offerta di memoria. Un'azienda di questo tipo non esiste attualmente. Google ha pezzi di queste con i TPU e DeepMind, ma i TPU sono solo interni. Un'entità OpenAI-AMD potrebbe vendere sul mercato mantenendo vantaggi proprietari. Non sarei sorpreso se Intel emergesse qui come una carta più selvaggia. Hanno la capacità di fonderia domestica che né AMD né Nvidia possiedono. Hanno anche l'architettura x86, che domina ancora il computing aziendale. Nvidia ha investito $5 miliardi in Intel, ma la loro attività di fonderia non viene utilizzata da Nvidia per la produzione di chip, co-sviluppano solo CPU. Questo lascia un'apertura. Se OpenAI volesse capacità di fonderia domestica per i suoi chip personalizzati, la Fonderia di Intel è l'unica opzione americana su larga scala. Quando Sama ha detto che aveva bisogno di $5-7 trilioni per costruire l'AGI, questo giustifica la sua ambizione di costruire una rete globale di fonderie. Il suo tempismo non potrebbe essere migliore con il CHIPS Act. Se sei l'azienda di cui il governo ha bisogno per raggiungere l'indipendenza nei semiconduttori, riceverai un trattamento diverso. Il fine ultimo potrebbe non essere "OpenAI acquisisce AMD" o "OpenAI acquisisce Intel." Ma sarà "OpenAI diventa il livello di integrazione che collega le aziende di chip domestiche in una catena di approvvigionamento AI unificata". Questo sarà un nuovo tipo di entità che coordina ciò che un tempo era industrie separate. Sama sta cercando di controllare il livello del modello, controllare il livello del chip, controllare il livello della memoria, e quando chiunque mappa la struttura completa, sei troppo integrato per disfare.

Se Steve Jobs fosse ancora vivo, Apple starebbe costruendo questo, un pezzo di tecnologia assolutamente bellissimo.