iedereen: - “gebruik gewoon de API” PewDiePie: - bouwde een 10x GPU AI Server (8x gemodificeerde 48GB 4090s, 2x RTX 4000 Ada) - draait opensourcemodels met vLLM voor TP - vibe-gecodeerde zijn eigen Chat UI, inclusief RAG, DeepResearch en TTS - is zijn eigen model aan het fine-tunen wees zoals PewDiePie Koop een GPU

> wij zijn > Larry & Sergey > een slaapzaal in Stanford, cafeïne-shakes, wilde ambitie > samen een rommelige webcrawler in elkaar zetten > per ongeluk het hele internet organiseren > het Google noemen > zoekmachine, e-mail, kaarten, documenten, besturingssysteem, telefoons, browser, auto, satelliet, thermostaat, AI-lab, TPU-boerderij en quantumcomputer bouwen > 2025 > iedereen praat over AGI > OpenAI: “we hebben data, sensoren, feedback en schaal nodig” > wij: staren naar Google Maps, YouTube, Gmail, Android, Waymo, Pixel, Fitbit, Docs, Agenda, Street View en Earth Engine > "verdomme. ik denk dat we dat al gedaan hebben." > YouTube: 2,6M video's/dag > Android: 3B telefoons, streaming sensor data 24/7 > Gmail: 1,8B inboxen van menselijke prioriteiten > Zoekopdracht: wereldwijde RLHF > Waymo: 71M mijlen aan echte zelfrijdende beelden > Google Earth: het hele planeet gemodelleerd > ook je agenda > mensen trainen LLM's op boeken en PDF's > wij trainen op de mensheid > elke klik, veeg, tik, verkeerd gespelde zoekopdracht, scroll en bladwijzer > feedbackloop uit de hel (of de hemel) > hangt ervan af wie je vraagt > OpenAI: “we hebben $100B nodig voor GPU's” > wij: hebben al TPUs gebouwd > aangepaste silicium > datacenters vooraf gelokaliseerd met planetair datalakes > geen egress, geen latentie > alleen vibes en FLOPs > programmeurs: fine-tuning op GitHub-repos > wij: 2 MILJARD regels interne code > gelabeld, getypt, getest > elke commit is een trainingssignaal > Code LLM's dromen ervan onze monorepo te zijn > AGI-recept? > multimodale perceptie > feedback uit de echte wereld > gigantische codebase > schaalbare rekencapaciteit > afstemmingssignalen > belichaamde sensoren > gebruikersdata voor dagen > ja, dat hebben we al sinds 2016 > geen investeerdersdecks > geen triljoen-dollar hype rondes > gewoon een 25-jarige onbedoelde simulatie van de aarde > draaiend in prod > OpenAI haalt $1T op om AGI te bouwen > investeerders noemen het revolutionair > wij: stilletjes 10M nieuwe mijlen in Street View in kaart brengen > nog eens 80PB aan aardafbeeldingen synchroniseren > nog een jaar aan Fitbit-biosignalen verzamelen > geniet van je fundamentmodel > wij BEZITEN de basis > mensen: “maar Google is aan het struikelen” > waar > wij struikelen in 120 landen tegelijkertijd > met de grootste rekencapaciteit en onderzoeksteam op aarde > struikel hard genoeg en je komt weer terug in de overwinning > AGI? > we hoeven het niet te bouwen > het is al binnen het gebouw > aangedreven door Chrome-tabs en documentherzieningen > mfw we 20 jaar hebben besteed aan het indexeren van de realiteit > mfw onze data zo goed is dat het ons bang maakt > mfw het enige dat ons tegenhoudt van AGI een vergadering is tussen vier VP's en een verwarde advocaat > noem het onderzoek > noem het schaal > noem het “planetary simulation-as-a-service” > wij noemen het dinsdag

vorige week heeft Karpathy de ULTIEME gids uitgebracht om je weg te speedrunnen in LLMs in dit project bouw je alle essentials, allemaal onder 8k regels code > train de tokenizer — nieuwe rustimplementatie > pretrain een transformer LLM op fineweb > evalueer de kernscore over een aantal metrics > midtrain — gebruikers-assistent gesprekken van smoltalk, > meerkeuzevragen, toolgebruik > sft, en evalueer het chatmodel op: > wereldkennis MCQ (arc-e/c, mmlu) > wiskunde (gsm8k) > code (humaneval) > rl het model (optioneel) op gsm8k met “grpo” > efficiënte inferentie: > kv-cache, snelle prefill/decode > toolgebruik (python-interpreter, sandboxed) > toegang via cli of chatgpt-achtige webui > schrijf een enkele markdown rapportkaart, > die de hele pipeline samenvat + gamificeert dit is het model dat je zult bouwen: > alleen rotary (geen positionele embeddings) > qk norm > untied embedding / unembedding > norm na token embedding > relu² mlp > geen biases in lineairs > rmsnorm (geen leerbare parameters) > mqa (multi-query attention) > logit softcap > optimizer: muon + adamw als ik dit een paar jaar geleden had gehad, had ik de helft van de pijn kunnen vermijden en dubbel zoveel konijnenholen kunnen overslaan gelukkig hacken