минулого тижня Karpathy випустили ULTIMATE guide з швидкісного бігу на шляху до LLM У цьому проекті ви створите все необхідне, все під 8 тисячами рядків коду > навчити токенізатор — нова реалізація rust > попереднє тренування трансформатора LLM на fineweb > оцінювати базову оцінку за кількома показниками > midtrain — конвої з асистентом користувача від Smoltalk, > Q з множинним вибором, використання інструменту > sft, а потім eval модель чату на: > Світові знання MCQ (arc-e/c, mmlu) > математики (GSM8K) > код (людський) > модель rl (опціонально) на GSM8K з "GRPO" > ефективного висновку: > кеш kv, швидке попереднє заповнення/декодування > використання інструментів (інтерпретатор Python, пісочниця) > доступ через CLI або Webui, схожий на ChatGPT > писати єдиний табель успішності, > підведення підсумків + гейміфікація всього пайплайну Модель, яку ви створите: > тільки поворотні (без позиційних вбудовувань) > норма qk...