minulý týden Karpathy vypustil ULTIMATE průvodce rychlým během do LLM V tomto projektu vytvoříte všechny podstatné věci, a to vše pod 8 tisíci řádky kódu > trénování tokenizátoru — nová implementace systému Rust > předtrénovat transformátor LLM na finewebu > vyhodnocovat základní skóre napříč celou řadou metrik > midtrain — uživatelské asistentské konvoje od Smoltalk, > více možností Qs, použití nástroje > sft a poté vyhodnotit model chatu na: > znalosti světa MCQ (arc-e/c, mmlu) > matematika (GSM8k) > kodex (humánní) > RL model (volitelně) na GSM8K pomocí "grpo" > efektivní odvozování: > kv cache, rychlé předvyplnění/dekódování Použití > nástrojů (interpret Pythonu, sandboxed) > přístup přes CLI nebo Webui podobný chatGPT > napsat jednu vysvědčení markdown, > shrnutí + gamifikace celého pipeline Model, který budete stavět: > pouze rotační (bez pozičního vložení) > qk norma...