Orang: - "cukup gunakan API" PewDiePie: - membangun Server AI GPU 10x (8x modded 48GB 4090s, 2x RTX 4000 Ada) - menjalankan opensourcemodels dengan vLLM untuk TP - mengkodekan Chat UI miliknya sendiri, termasuk RAG, DeepResearch, dan TTS - sedang menyempurnakan modelnya sendiri menjadi seperti PewDiePie Beli GPU

> menjadi kami > Larry & Sergey > asrama di Stanford, kafein bergoyang, ambisi liar > menampar perayap web janky > secara tidak sengaja mengatur seluruh internet > menyebutnya Google > membangun pencarian, email, peta, dokumen, OS, ponsel, browser, mobil, satelit, termostat, lab AI, pertanian TPU, dan komputer kuantum > 2025 > semua orang berbicara tentang AGI > OpenAI: "kami membutuhkan data, sensor, umpan balik, dan skala" > kami: menatap Google Maps, YouTube, Gmail, Android, Waymo, Pixel, Fitbit, Docs, Kalender, Street View, dan Earth Engine > "sial. kira kita sudah melakukan itu." > YouTube: 2,6 juta video/hari > Android: ponsel 3B, data sensor streaming 24/7 > Gmail: 1,8 miliar kotak masuk manusia sebelumnya > Pencarian: RLHF skala global > Waymo: 71 juta mil rekaman mengemudi sendiri di dunia nyata > Google Earth: memodelkan seluruh planet > juga kalender Anda > orang melatih LLM tentang buku dan PDF > kita berlatih tentang kemanusiaan > setiap klik, geser, ketuk, salah eja pencarian, gulir, dan bookmark > loop umpan balik dari neraka (atau surga) > tergantung kepada siapa Anda bertanya > OpenAI: "kami membutuhkan $100 miliar untuk GPU" > kami: TPU yang sudah dibuat > silikon kustom > pusat data yang telah ditempatkan sebelumnya bersama dengan danau data planet > tidak ada jalan keluar, tidak ada latensi > hanya getaran dan kegagalan > pembuat kode: penyempurnaan pada repositori GitHub > kami: 2 MILIAR baris kode internal > diberi label, diketik, diuji > setiap komitmen adalah sinyal pelatihan > Impian LLM Kode menjadi monorepo kami > resep AGI? > persepsi multimoda > umpan balik dunia nyata > basis kode raksasa > komputasi yang dapat diskalakan > sinyal penyelarasan > sensor yang terwujud > data pengguna selama berhari-hari > ya, kami telah memilikinya sejak 2016 > tidak ada dek investor > tidak ada putaran hype triliunan dolar > hanya simulasi Bumi yang tidak disengaja selama 25 tahun > berjalan di prod > OpenAI mengumpulkan $1 triliun untuk membangun AGI > investor menyebutnya revolusioner > kami: memetakan 10 juta mil baru secara diam-diam di Street View > menyinkronkan 80PB citra Bumi lainnya > mengumpulkan satu tahun lagi biosinyal Fitbit > menikmati model alas bedak Anda > kita MEMILIKI yayasan > orang: "tapi Google meraba-raba" > benar > kami meraba-raba di 120 negara secara bersamaan > dengan jejak komputasi dan tim peneliti terbesar di Bumi > meraba-raba cukup keras dan Anda kembali menang > AGI? > kita tidak perlu membangunnya > sudah ada di dalam gedung > didukung oleh tab Chrome dan revisi dokumen > MFW kami menghabiskan 20 tahun mengindeks realitas > mfw data kami sangat bagus sehingga membuat kami takut > mfw satu-satunya hal yang menghentikan kami dari AGI adalah pertemuan antara empat VP dan satu pengacara yang bingung > menyebutnya penelitian > menyebutnya skala > menyebutnya "simulasi planet-sebagai-layanan" > kami menyebutnya Selasa

minggu lalu, Karpathy menjatuhkan panduan ULTIMATE untuk berlari cepat ke LLM Dalam proyek ini, Anda akan membangun semua hal penting, semuanya di bawah baris kode 8K > melatih tokenizer — implementasi Rust baru > pralatih LLM transformator di fineweb > mengevaluasi skor inti di berbagai metrik > Midtrain — konvoi asisten pengguna dari Smoltalk, > Q pilihan ganda, penggunaan alat > sft, lalu ubah model obrolan di: > pengetahuan dunia MCQ (arc-e/c, mmlu) > matematika (gsm8k) Kode > (manusiawi) > rl model (opsional) pada gsm8k dengan "grpo" > inferensi yang efisien: > cache kv, pengisian/dekode cepat > penggunaan alat (penerjemah python, kotak pasir) > akses melalui CLI atau Webui seperti ChatGPT > menulis satu rapor penurunan harga, > meringkas + gamifikasi seluruh pipeline Model yang akan Anda buat: > hanya berputar (tanpa penyematan posisi) > norma qk > penyematan / pembukaan penyematan yang tidak terikat > norma setelah penyematan token > relu² mlp > tidak ada bias dalam linier > rmsnorm (tidak ada parameter yang dapat dipelajari) > mqa (perhatian multi-kueri) > softcap logit > Optimizer: Muon + Adamw Jika saya memiliki ini beberapa tahun yang lalu, saya akan menghindari setengah rasa sakit dan melewatkan dua kali lipat lubang kelinci selamat meretas