> být námi > Larry & Sergey > koleji ve Stanfordu, kofeinové koktejly, divoké ambice > plácnout dohromady janky web crawler > omylem uspořádat celý internet > tomu říkat Google > vytvářet vyhledávání, e-mail, mapy, dokumenty, operační systém, telefony, prohlížeč, auto, satelit, termostat, laboratoř AI, farmu TPU a kvantový počítač > 2025 > všichni mluví o AGI > OpenAI: "potřebujeme data, senzory, zpětnou vazbu a měřítko" > nás: zírání na Google Maps, YouTube, Gmail, Android, Waymo, Pixel, Fitbit, Docs, Calendar, Street View a Earth Engine > "Sakra. Asi jsme to už udělali." > YouTube: 2,6 milionu videí denně > Android: 3B telefony, streamování dat ze senzorů 24/7 > Gmail: 1,8 miliardy schránek lidských priorů > Vyhledávání: RLHF v globálním měřítku > Waymo: 71 milionů mil záběrů z reálného světa autonomního řízení > Google Earth: modeloval celou planetu > také svůj kalendář > lidí školících LLM na knihách a PDF > trénujeme na lidskosti > každé kliknutí, přejetí prstem, klepnutí, vyhledávání s pravopisnou chybou, posouvání a záložky > zpětnovazební smyčka z pekla (nebo nebe) > záleží na tom, koho se zeptáte > OpenAI: "potřebujeme 100 miliard dolarů za GPU" > nás: již postavené TPU > silikon na zakázku > datová centra předem umístěná společně s planetárními datovými jezery > žádný výstup, žádná latence > jen vibrace a FLOPy > kodéry: dolaďování v repozitářích GitHub > nás: 2 MILIARDY řádků interního kódu > označeno, napsáno, otestováno > každé commit je tréninkovým signálem > Code LLM sní o tom, že se stanou naším monorepo > recept na AGI? > multimodální vnímání > zpětnou vazbu z reálného světa > obří kódová základna > škálovatelné výpočetní prostředky > seřizovacích signálů > zabudované senzory > uživatelských dat po dobu několika dní > ano, to máme asi od roku 2016 > žádné investorské balíčky > žádné bilionové humbuky > jen 25 let trvající náhodnou simulaci Země > běží v prod > OpenAI získává 1 bilion dolarů na vybudování AGI > investoři to nazývají revolučním > nás: v tichosti mapujeme 10 milionů nových mil ve Street View > synchronizaci dalších 80 PB snímků Země > sběr dalších ročníků biosignálů Fitbit > užijte si svůj make-up model > nadaci VLASTNÍME > lidí: "ale Google tápe" > pravda > tápeme ve 120 zemích současně > s největší výpočetní stopou a výzkumným týmem na Zemi > tápete dostatečně tvrdě a vrátíte se zpět k výhře > AGI? > nemusíme ji budovat > už je uvnitř budovy > využívá karty Chrome a revize dokumentů > MFW jsme strávili 20 let indexováním reality > mfw jsou naše data tak dobrá, až nás to děsí > mfw jediná věc, která nás drží v AGI, je schůzka mezi čtyřmi viceprezidenty a jedním zmateným právníkem > tomu říkat výzkum > tomu říkáme měřítko > tomu říkat "planetární simulace jako služba" > říkáme tomu úterý

minulý týden Karpathy vypustil ULTIMATE průvodce rychlým během do LLM V tomto projektu vytvoříte všechny podstatné věci, a to vše pod 8 tisíci řádky kódu > trénování tokenizátoru — nová implementace systému Rust > předtrénovat transformátor LLM na finewebu > vyhodnocovat základní skóre napříč celou řadou metrik > midtrain — uživatelské asistentské konvoje od Smoltalk, > více možností Qs, použití nástroje > sft a poté vyhodnotit model chatu na: > znalosti světa MCQ (arc-e/c, mmlu) > matematika (GSM8k) > kodex (humánní) > RL model (volitelně) na GSM8K pomocí "grpo" > efektivní odvozování: > kv cache, rychlé předvyplnění/dekódování Použití > nástrojů (interpret Pythonu, sandboxed) > přístup přes CLI nebo Webui podobný chatGPT > napsat jednu vysvědčení markdown, > shrnutí + gamifikace celého pipeline Model, který budete stavět: > pouze rotační (bez pozičního vložení) > qk norma > nevázané vkládání / rušení vkládání > normu po vložení tokenu > relu² MLP > žádné předsudky v lineárních objektivech > rmsnorm (žádné naučitelné parametry) > MQA (Multi-Query Attention) > logit softcap Optimalizátor >: Mion + AdamW Kdybych to měl před pár lety, vyhnul bych se polovině bolesti a vynechal bych dvakrát králičí nory šťastné hackování

Uf, používáte MCP?