kaikki: - "käytä vain API:ta" PewDiePie: - rakensi 10x GPU AI -palvelimen (8x modifioitu 48GB 4090s, 2x RTX 4000 Ada) - suorittaa avoimen lähdekoodin malleja vLLM:llä TP:lle - vibe-koodasi oman chat-käyttöliittymänsä, mukaan lukien RAG, DeepResearch ja TTS - hienosäätää omaa malliaan olla kuin PewDiePie Osta grafiikkasuoritin

> olla me > Larry ja Sergey > asuntolassa Stanfordissa, kofeiinipirtelöitä, villiä kunnianhimoa > lyödä yhteen jänkevä indeksointirobotti > vahingossa järjestää koko internetin > kutsua sitä Googleksi > luoda hakua, sähköpostia, karttoja, asiakirjoja, käyttöjärjestelmää, puhelimia, selainta, autoa, satelliittia, termostaattia, tekoälylaboratoriota, TPU-maatilaa ja kvanttitietokonetta > 2025 > kaikki puhuvat AGI:stä > OpenAI: "tarvitsemme dataa, antureita, palautetta ja mittakaavaa" > meille: Google Mapsin, YouTuben, Gmailin, Androidin, Waymon, Pixelin, Fitbitin, Docsin, kalenterin, Street View'n ja Earth Enginen tuijottaminen > "hitto. Luulen, että olemme jo tehneet sen." > YouTube: 2,6 miljoonaa videota/päivä > Android: 3B-puhelimet, anturitietojen suoratoisto 24/7 > Gmail: 1,8 miljardia postilaatikkoa ihmisten prioria > Haku: globaalin mittakaavan RLHF > Waymo: 71 miljoonaa mailia todellista itseohjautuvaa materiaalia > Google Earth: mallinsi koko planeetan > myös kalenteriisi > ihmisiä, jotka kouluttavat LLM-tutkintoja kirjoihin ja PDF-tiedostoihin > harjoittelemme inhimillisyyttä > jokaisesta napsautuksesta, pyyhkäisystä, napautuksesta, väärin kirjoitetusta hausta, vierityksestä ja kirjanmerkistä > palautesilmukka (tai taivaasta) > riippuu siitä, keneltä kysyt > OpenAI: "tarvitsemme 100 miljardia dollaria GPU:ihin" > meille: jo rakennetut TPU:t > mukautettu pii > datakeskukset, jotka sijaitsevat ennalta planeettojen tietojärvien kanssa > ei poistumista, ei viivettä > vain viboja ja floppeja >koodaajat: GitHub-säilöjen hienosäätö > meille: 2 miljardia riviä sisäistä koodia > merkitty, kirjoitettu, testattu > jokainen sitoutuminen on harjoitussignaali > Code LLM:n unelma olla monorepo > AGI-resepti? > multimodaalinen käsitys > tosielämän palautetta > jättimäinen koodikanta > skaalautuva laskenta > kohdistussignaalit > ruumiillistuneita antureita > käyttäjätietoja päivien ajan > Kyllä, meillä on ollut sitä vuodesta 2016 lähtien > ei sijoittajapakkoja > ei biljoonan dollarin hypekierroksia > vain 25 vuotta kestänyt vahingossa tehty simulaatio Maasta > juokseminen prodissa > OpenAI kerää 1 miljardia dollaria AGI:n rakentamiseen > sijoittajat kutsuvat sitä vallankumoukselliseksi > meille: 10 miljoonan uuden kilometrin hiljainen kartoitus Street View'ssa > synkronoi vielä 80 PB maapallon kuvia > kerää jälleen vuoden Fitbitin biosignaaleja > nauttia meikkivoidemallistasi > omistamme säätiön > ihmistä: "mutta Google hapuilee" > totta > hapuilemme 120 maassa samanaikaisesti >, jolla on maailman suurin laskentajalanjälki ja tutkimusryhmä > hapuilee tarpeeksi kovaa ja palaat takaisin voittamaan > AGI? > meidän ei tarvitse rakentaa sitä > se on jo rakennuksen sisällä > toimii Chrome-välilehtien ja asiakirjaversioiden avulla > MFW:ssä käytimme 20 vuotta todellisuuden indeksointiin > mfw tietomme ovat niin hyviä, että se pelottaa meitä > ainoa asia, joka estää meitä AGI:stä, on neljän varapuheenjohtajan ja yhden hämmentyneen asianajajan tapaaminen > kutsun sitä tutkimukseksi > kutsu sitä mittakaavaksi > kutsuvat sitä "planetaariseksi simulaatioksi palveluna" > kutsumme sitä tiistaiksi

Viime viikolla Karpathy pudotti ULTIMATE-oppaan LLM:iin pääsemiseen Tässä projektissa rakennat kaiken olennaisen, kaikki alle 8K-koodirivin > kouluttaa tokenisaattoria – uusi Rust-toteutus > esikouluttaa muuntajan LLM:n finewebissä > arvioida ydinpisteitä useilla mittareilla > Midtrain — Käyttäjä-avustaja Convos Smoltalkista, > monivalintakysymykset, työkalujen käyttö > SFT:tä ja valitse sitten chat-malli: > maailmantiedon MCQ (ARC-E/C, MMLU) > matematiikka (GSM8K) > koodi (humanittinen) > RL malli (valinnaisesti) GSM8K:lla "GRPO" > tehokas päättely: > kV-välimuisti, nopea esitäyttö/dekoodaus > työkalun käyttö (python-tulkki, hiekkalaatikko) > pääsy CLI:n tai ChatGPT:n kaltaisen webUI:n kautta > kirjoittaa yhden Markdown-raporttikortin, > koko putken yhteenveto + pelillistäminen Rakentamasi malli: > vain pyörivä (ei asentoupotuksia) > qk-normi > sidottu upottaminen / upottamisen purkaminen > normi tunnuksen upottamisen jälkeen > relu² mlp > ei ennakkoluuloja lineaareissa > RMSNORM (ei opittavia parameja) > MQA (usean kyselyn huomio) > logit softcap > optimoija: myon + adamw Jos minulla olisi ollut tämä pari vuotta sitten, olisin väistänyt puolet kivusta ja ohittanut kaksinkertaisen kaninkolon Hyvää hakkerointia