Letzte Woche hat Karpathy den ultimativen Leitfaden veröffentlicht, um sich schnell in LLMs einzuarbeiten In diesem Projekt wirst du alle Grundlagen erstellen, alles unter 8k Zeilen Code > Trainiere den Tokenizer — neue Rust-Implementierung > Pretrainiere ein Transformer-LLM auf Fineweb > Bewerte den Kernscore über eine Reihe von Metriken > Midtrain — Benutzer-Assistenten-Gespräche aus Smoltalk, > Multiple-Choice-Fragen, Werkzeugnutzung > SFT, dann bewerte das Chat-Modell auf: > Weltwissen MCQ (arc-e/c, mmlu) > Mathematik (gsm8k) > Code (humaneval) > RL das Modell (optional) auf gsm8k mit „grpo“ > Effiziente Inferenz: > KV-Cache, schnelles Vorabfüllen/Dekodieren > Werkzeugnutzung (Python-Interpreter, sandboxed) > Zugriff über CLI oder ChatGPT-ähnliche Weboberfläche > Schreibe einen einzigen Markdown-Bericht, > der die gesamte Pipeline zusammenfasst und gamifiziert Das Modell, das du bauen wirst: > Nur Rotary (keine Positions-Embeddings) > QK-Norm...