alla: - "använd bara API:et" PewDiePie: - byggde en 10x GPU AI Server (8x modded 48GB 4090s, 2x RTX 4000 Ada) - kör opensourcemodels med vLLM för TP - vibe-kodade sitt eget chattgränssnitt, inklusive RAG, DeepResearch och TTS - finjusterar sin egen modell vara som PewDiePie Köp en GPU

> vara vi > Larry och Sergey > en sovsal i Stanford, koffeinshakes, vild ambition > sätta ihop en sjaskig sökrobot > av misstag organisera hela internet > kallar det Google > bygga sökning, e-post, kartor, dokument, operativsystem, telefoner, webbläsare, bil, satellit, termostat, AI-labb, TPU-gård och kvantdator > 2025 > alla som pratar om AGI > OpenAI: "vi behöver data, sensorer, återkoppling och skala" > oss: stirrar på Google Maps, YouTube, Gmail, Android, Waymo, Pixel, Fitbit, Docs, Calendar, Street View och Earth Engine > "Fan. Antar att vi redan har gjort det." > YouTube: 2,6 miljoner videor/dag > Android: 3B-telefoner, strömmande sensordata 24/7 > Gmail: 1,8 miljarder inkorgar med mänskliga tidigare > Sök: RLHF i global skala > Waymo: 71 miljoner miles av självkörande filmer från den verkliga världen > Google Earth: modellerade hela planeten > även din kalender > personer som utbildar LLM:er på böcker och PDF-filer > vi tränar på medmänsklighet > varje klick, svep, tryck, felstavad sökning, rullning och bokmärke > återkopplingsslinga från helvetet (eller himlen) > beror på vem du frågar > OpenAI: "vi behöver 100 miljarder dollar för GPU:er" > oss: redan byggda TPU:er > anpassat kisel > datacenter som är förplacerade med planetära datasjöar > ingen utgång, ingen latens > bara vibbar och floppar > kodare: finjustering på GitHub-lagringsplatser > oss: 2 MILJARDER rader intern kod > märkt, maskinskrivet, testat > varje incheckning är en träningssignal > Code LLM:s dröm om att vara vår monorepo > AGI-recept? > multimodal uppfattning > feedback från verkligheten > gigantisk kodbas > skalbar beräkning > inriktningssignaler > inbyggda sensorer > användardata i flera dagar > ja, det har vi haft sedan typ 2016 > inga investerarkortlekar > inga hype-rundor på biljoner dollar > bara en 25-årig oavsiktlig simulering av jorden > som körs i prod > OpenAI samlar in 1 biljon dollar för att bygga AGI > investerare kallar det revolutionerande > oss: Tyst kartläggning av 10 miljoner nya kilometer i Street View > synkroniserar du ytterligare 80 PB bilder från jorden > att samla in ytterligare ett år av Fitbit-biosignaler > njuta av din foundationmodell > vi ÄGER stiftelsen > folk: "men Google fumlar" > sant > vi fumlar i 120 länder samtidigt > med det största beräkningsfotavtrycket och forskarteamet på jorden > fumlar tillräckligt hårt och du loopar tillbaka till att vinna > AGI? > vi inte behöver bygga den > den redan är inne i byggnaden > drivs av Chrome-flikar och dokumentrevisioner > MFW ägnade vi 20 år åt att indexera verkligheten > mfw är vår data så bra att den skrämmer oss > mfw är det enda som hindrar oss från AGI ett möte mellan fyra vice ordförande och en förvirrad advokat > kallar det forskning > kallar det skala > kallar det "planetary simulation-as-a-service" > vi kallar det tisdag

förra veckan släppte Karpathy den ULTIMATA guiden för att speed-running dig in i LLM I det här projektet kommer du att bygga allt du behöver, allt under 8K rader kod > träna tokeniseraren – ny Rust-implementering > förträna en transformator LLM på fineweb > utvärdera kärnpoängen över en massa mätvärden > Midtrain – Användarassistentsamtal från Smoltalk, > flervalsfrågor, verktygsanvändning > SFT och utvärdera sedan chattmodellen på: > världskunskap MCQ (arc-e/c, mmlu) > matematik (GSM8K) > kod (human) > rl modellen (valfritt) på gsm8k med "grpo" > effektiv slutsatsdragning: > kV-cache, snabb förifyllning/avkodning > verktygsanvändning (Python-tolk, sandboxed) > åtkomst via CLI eller ChatGPT-liknande webbgränssnitt > skriver ett enda rapportkort för markdown, > summering + spelifiering av hela pipelinen Modellen du ska bygga: Endast > roterande (inga positionella inbäddningar) > qk-normen > obunden inbäddning / avbäddning > norm efter tokeninbäddning > relu² mlp > inga fördomar i linjära > rmsnorm (inga lärbara parametrar) > MQA (Multi-Query Attention) > logit softcap > optimerare: myon + adamw Om jag hade haft det här för ett par år sedan hade jag undvikit halva smärtan och hoppat över dubbla kaninhål Lycka till med hackningen