minggu lalu, Karpathy menjatuhkan panduan ULTIMATE untuk berlari cepat ke LLM Dalam proyek ini, Anda akan membangun semua hal penting, semuanya di bawah baris kode 8K > melatih tokenizer — implementasi Rust baru > pralatih LLM transformator di fineweb > mengevaluasi skor inti di berbagai metrik > Midtrain — konvoi asisten pengguna dari Smoltalk, > Q pilihan ganda, penggunaan alat > sft, lalu ubah model obrolan di: > pengetahuan dunia MCQ (arc-e/c, mmlu) > matematika (gsm8k) Kode > (manusiawi) > rl model (opsional) pada gsm8k dengan "grpo" > inferensi yang efisien: > cache kv, pengisian/dekode cepat > penggunaan alat (penerjemah python, kotak pasir) > akses melalui CLI atau Webui seperti ChatGPT > menulis satu rapor penurunan harga, > meringkas + gamifikasi seluruh pipeline Model yang akan Anda buat: > hanya berputar (tanpa penyematan posisi) > norma qk...