Viime viikolla Karpathy pudotti ULTIMATE-oppaan LLM:iin pääsemiseen Tässä projektissa rakennat kaiken olennaisen, kaikki alle 8K-koodirivin > kouluttaa tokenisaattoria – uusi Rust-toteutus > esikouluttaa muuntajan LLM:n finewebissä > arvioida ydinpisteitä useilla mittareilla > Midtrain — Käyttäjä-avustaja Convos Smoltalkista, > monivalintakysymykset, työkalujen käyttö > SFT:tä ja valitse sitten chat-malli: > maailmantiedon MCQ (ARC-E/C, MMLU) > matematiikka (GSM8K) > koodi (humanittinen) > RL malli (valinnaisesti) GSM8K:lla "GRPO" > tehokas päättely: > kV-välimuisti, nopea esitäyttö/dekoodaus > työkalun käyttö (python-tulkki, hiekkalaatikko) > pääsy CLI:n tai ChatGPT:n kaltaisen webUI:n kautta > kirjoittaa yhden Markdown-raporttikortin, > koko putken yhteenveto + pelillistäminen Rakentamasi malli: > vain pyörivä (ei asentoupotuksia) > qk-normi...