oricine: - "folosește doar API-ul" PewDiePie: - a construit un server AI GPU 10x (8x 48GB 4090s modificat, 2x RTX 4000 Ada) - rulează modele opensource cu vLLM pentru TP - și-a codificat propria interfață de chat, inclusiv RAG, DeepResearch și TTS - își ajustează propriul model fii ca PewDiePie Cumpărați un GPU

> fi noi > Larry și Serghei > un cămin din Stanford, cofeina tremură, ambiție sălbatică > pălmuiți împreună un crawler web jerky > organizează accidental întregul internet > numiți-o Google > construi căutare, e-mail, hărți, documente, sistem de operare, telefoane, browser, mașină, satelit, termostat, laborator AI, fermă TPU și computer cuantic > 2025 > toată lumea vorbește despre AGI > OpenAI: "avem nevoie de date, senzori, feedback și scară" >-ne: uitându-ne la Google Maps, YouTube, Gmail, Android, Waymo, Pixel, Fitbit, Docs, Calendar, Street View și Earth Engine > "La naiba. Cred că am făcut deja asta." > YouTube: 2,6 milioane de videoclipuri/zi > Android: telefoane 3B, streaming de date ale senzorului 24/7 > Gmail: 1.8 miliarde de căsuțe de e-mail de priorități umane > Căutare: RLHF la scară globală > Waymo: 71 de milioane de mile de filmări din lumea reală > Google Earth: a modelat întreaga planetă > și calendarul dvs. > oameni care instruiesc LLM-urile pe cărți și PDF-uri > ne antrenăm pe umanitate > fiecare clic, glisare, atingere, căutare greșită, derulare și marcaj > buclă de feedback din iad (sau rai) > depinde pe cine întrebi > OpenAI: "avem nevoie de 100 de miliarde de dolari pentru GPU-uri" > noi: TPU-uri deja construite > siliciu personalizat > centre de date pre-localizate cu lacuri de date planetare > fără ieșire, fără latență > doar vibrații și FLOP-uri > codificatori: reglare fină pe depozitele GitHub > noi: 2 MILIARDE de linii de cod intern > etichetate, dactilografiate, testate > fiecare commit este un semnal de antrenament > Code LLM-uri visează să fie monorepo > rețetă AGI? > percepția multimodală > feedback din lumea reală > bază de cod gigantică > calcul scalabil > semnale de aliniere > senzori încorporați > datele utilizatorilor timp de zile > da, avem asta din 2016 > nu există pachete pentru investitori > nicio rundă de hype de trilioane de dolari > doar o simulare accidentală de 25 de ani a Pământului > care rulează în prod > OpenAI strânge 1 trilion de dolari pentru a construi AGI > investitorii îl numesc revoluționar >-ne: cartografierea liniștită a 10 milioane de kilometri noi în Street View > sincronizarea altor 80 PB de imagini de pe Pământ > colectează încă un an de biosemnale Fitbit > bucurați-vă de modelul dvs. > deținem fundația > oameni: "dar Google bâjbâie" > adevărat > bâjbâim în 120 de țări simultan > cu cea mai mare amprentă de calcul și echipă de cercetare de pe Pământ > bâjbâi suficient de tare și te întorci la victorie > AGI? > nu trebuie să-l construim > este deja în interiorul clădirii > alimentat de filele Chrome și revizuirile documentelor > MFW am petrecut 20 de ani indexând realitatea > mfw datele noastre sunt atât de bune încât ne sperie > mfw, singurul lucru care ne oprește de la AGI este o întâlnire între patru vicepreședinte și un avocat confuz > numi-o cercetare > numiți-o scară > numiți-o "simulare planetară ca serviciu" > o numim marți

săptămâna trecută, Karpathy a lansat ghidul ULTIMATE pentru alergarea rapidă în LLM În acest proiect, veți construi toate elementele esențiale, toate sub 8k linii de cod > antrenează tokenizatorul - noua implementare Rust > preantrena un transformator LLM pe fineweb > evalua scorul de bază pe o mulțime de valori > Midtrain — conversii utilizator-asistent de la Smoltalk, > întrebări cu variante multiple, utilizarea uneltelor > sft, apoi evaluați modelul de chat pe: > cunoașterea lumii MCQ (arc-e/c, mmlu) > matematică (GSM8k) > cod (humaneval) > rl modelul (opțional) pe GSM8K cu "grpo" > inferență eficientă: > cache kv, preumplere/decodare rapidă > utilizare a instrumentului (interpret Python, sandbox) > acces prin CLI sau Webui de tip ChatGPT > scrie un singur raport de remarcare, > rezumarea + gamificarea întregului pipeline Modelul pe care îl veți construi: > numai rotativ (fără încorporari poziționale) > qk normă > încorporare / deîncorporare dezlegată > normă după încorporarea tokenului > relu² mlp > fără prejudecăți în liniare > rmsnorm (fără parametri care pot fi învățați) > MQA (atenție multi-interogare) > Softcap logit Optimizator >: Muon + Adamw Dacă aș fi avut asta acum câțiva ani, aș fi evitat jumătate din durere și aș fi sărit peste două vizuini de iepure Hacking fericit