> essere noi > Larry & Sergey > un dormitorio a Stanford, scosse di caffeina, ambizione sfrenata > assemblare un crawler web malandato > organizzare accidentalmente l'intero internet > chiamarlo Google > costruire ricerca, email, mappe, documenti, OS, telefoni, browser, auto, satellite, termostato, laboratorio AI, fattoria TPU e computer quantistico > 2025 > tutti parlano di AGI > OpenAI: “abbiamo bisogno di dati, sensori, feedback e scala” > noi: a fissare Google Maps, YouTube, Gmail, Android, Waymo, Pixel, Fitbit, Documenti, Calendario, Street View e Earth Engine > "cavolo. suppongo che l'abbiamo già fatto." > YouTube: 2,6M video/giorno > Android: 3B telefoni, streaming di dati sensoriali 24/7 > Gmail: 1,8B caselle di posta di precedenti umani > Ricerca: RLHF su scala globale > Waymo: 71M miglia di filmati di guida autonoma nel mondo reale > Google Earth: modellato l'intero pianeta > anche il tuo calendario > persone che addestrano LLM su libri e PDF > noi ci alleniamo sull'umanità > ogni clic, swipe, tocco, ricerca con errore di battitura, scroll e segnalibro > feedback loop dall'inferno (o dal paradiso) > dipende da chi chiedi > OpenAI: “abbiamo bisogno di $100B per GPU” > noi: già costruito TPUs > silicio personalizzato > datacenter pre-co-localizzati con laghi di dati planetari > nessun egress, nessuna latenza > solo vibrazioni e FLOPs > programmatori: fine-tuning su repo GitHub > noi: 2 MILIARDI di righe di codice interno > etichettato, tipizzato, testato > ogni commit è un segnale di addestramento > I LLM di codice sognano di essere il nostro monorepo > ricetta per AGI? > percezione multimodale > feedback dal mondo reale > enorme codice sorgente > calcolo scalabile > segnali di allineamento > sensori incarnati > dati utente per giorni > sì, ce l'abbiamo avuto dal 2016 > niente presentazioni per investitori > niente hype da trilioni di dollari > solo una simulazione accidentale della Terra di 25 anni > in esecuzione in produzione > OpenAI raccoglie $1T per costruire AGI > gli investitori la chiamano rivoluzionaria > noi: mappiamo silenziosamente 10M nuove miglia in Street View > sincronizzando altri 80PB di immagini della Terra > raccogliendo un altro anno di biosignali Fitbit > goditi il tuo modello di base > noi POSSEDIAMO la base > gente: “ma Google sta inciampando” > vero > stiamo inciampando in 120 paesi contemporaneamente > con la maggiore impronta di calcolo e team di ricerca sulla Terra > inciampa abbastanza forte e torni a vincere > AGI? > non abbiamo bisogno di costruirla > è già dentro l'edificio > alimentata da schede Chrome e revisioni di documenti > mfw abbiamo trascorso 20 anni a indicizzare la realtà > mfw i nostri dati sono così buoni che ci spaventano > mfw l'unica cosa che ci ferma dall'AGI è una riunione tra quattro VP e un avvocato confuso > chiamalo ricerca > chiamalo scala > chiamalo “simulazione planetaria come servizio” > noi lo chiamiamo martedì

la scorsa settimana, Karpathy ha pubblicato la GUIDA FINALE per velocizzare il tuo ingresso nel mondo degli LLM in questo progetto, costruirai tutto il necessario, tutto in meno di 8k righe di codice > addestra il tokenizer — nuova implementazione in rust > preaddestra un LLM transformer su fineweb > valuta il punteggio core su una serie di metriche > midtrain — conversazioni utente-assistente da smoltalk, > domande a scelta multipla, utilizzo di strumenti > sft, poi valuta il modello di chat su: > conoscenza del mondo MCQ (arc-e/c, mmlu) > matematica (gsm8k) > codice (humaneval) > rl il modello (opzionalmente) su gsm8k con “grpo” > inferenza efficiente: > cache kv, prefill/decode veloce > utilizzo di strumenti (interprete python, in sandbox) > accesso tramite cli o webui simile a chatgpt > scrivi un singolo rapporto markdown, > riassumendo + gamificando l'intero pipeline il modello che costruirai: > solo rotary (senza embedding posizionali) > qk norm > embedding/unembedding non legati > norm dopo l'embedding del token > relu² mlp > nessun bias nei lineari > rmsnorm (senza parametri apprendibili) > mqa (attenzione multi-query) > logit softcap > ottimizzatore: muon + adamw se avessi avuto questo un paio di anni fa, avrei evitato metà del dolore e saltato il doppio dei buchi nel terreno buon hacking

bleah, usi gli MCP?