vorige week heeft Karpathy de ULTIEME gids uitgebracht om je weg te speedrunnen in LLMs in dit project bouw je alle essentials, allemaal onder 8k regels code > train de tokenizer — nieuwe rustimplementatie > pretrain een transformer LLM op fineweb > evalueer de kernscore over een aantal metrics > midtrain — gebruikers-assistent gesprekken van smoltalk, > meerkeuzevragen, toolgebruik > sft, en evalueer het chatmodel op: > wereldkennis MCQ (arc-e/c, mmlu) > wiskunde (gsm8k) > code (humaneval) > rl het model (optioneel) op gsm8k met “grpo” > efficiënte inferentie: > kv-cache, snelle prefill/decode > toolgebruik (python-interpreter, sandboxed) > toegang via cli of chatgpt-achtige webui > schrijf een enkele markdown rapportkaart, > die de hele pipeline samenvat + gamificeert dit is het model dat je zult bouwen: > alleen rotary (geen positionele embeddings) > qk norm...