forrige uke slapp Karpathy den ULTIMATE guiden til speed-running din vei inn i LLM-er I dette prosjektet bygger du alt det viktigste, alt under 8k linjer med kode > trene tokenizeren – ny rustimplementering > forhåndstrene en transformator LLM på fineweb > evaluere kjernepoeng på tvers av en haug med beregninger > midtrain — brukerassistentsamtaler fra smoltalk, > flervalgsspørsmål, verktøybruk > sft, og velg deretter chat-modellen på: > verdenskunnskap MCQ (arc-e/c, mmlu) > matematikk (gsm8k) > kode (humaneval) > rl modellen (valgfritt) på GSM8K med "grpo" > effektiv slutning: > kv-cache, rask forhåndsutfylling/dekoding > verktøybruk (Python-tolk, sandkasse) > tilgang via CLI eller ChatGPT-lignende webUI > skrive et enkelt markdown-rapportkort, > oppsummere + gamifisere hele rørledningen Modellen du skal bygge: Kun > roterende (ingen posisjonelle innbygginger) > QK-normen...