на прошлой неделе Карпати выпустил УЛЬТИМАТИВНОЕ руководство по быстрому погружению в LLMs в этом проекте вы создадите все необходимые элементы, всего за 8k строк кода > обучите токенизатор — новая реализация на rust > предварительно обучите трансформер LLM на fineweb > оцените основной балл по множеству метрик > промежуточное обучение — разговоры пользователь-ассистент из smoltalk, > вопросы с множественным выбором, использование инструментов > sft, затем оцените модель чата по: > мировым знаниям MCQ (arc-e/c, mmlu) > математике (gsm8k) > коду (humaneval) > rl модель (по желанию) на gsm8k с "grpo" > эффективный вывод: > kv кэш, быстрый предзаполнение/декодирование > использование инструментов (интерпретатор python, в песочнице) > доступ через cli или веб-интерфейс, похожий на chatgpt > напишите один отчет в формате markdown, > подводя итоги и геймифицируя весь процесс модель, которую вы создадите: > только ротация (без позиционных эмбеддингов) > qk нормализация...