la semana pasada, Karpathy lanzó la guía DEFINITIVA para acelerar su camino hacia los LLM En este proyecto, construirá todos los elementos esenciales, todo bajo 8K líneas de código > entrenar al tokenizador: nueva implementación de Rust > preentrenar un LLM de transformador en fineweb > evaluar la puntuación básica en un montón de métricas > midtrain — conversaciones de asistente de usuario de smoltalk, > preguntas de opción múltiple, uso de herramientas > sft, luego evalúe el modelo de chat en: > conocimiento mundial MCQ (arc-e/c, mmlu) > matemáticas (gsm8k) Código > (humaneval) > RL el modelo (opcionalmente) en gsm8k con "grpo" > inferencia eficiente: > caché kv, precargado/decodificación rápida > uso de herramientas (intérprete de Python, sandboxed) Acceso > a través de CLI o webUI similar a ChatGPT > escribir una sola boleta de calificaciones de rebajas, > resumir + gamificar todo el pipeline El modelo que construirás: > solo rotativas (sin incrustaciones posicionales) > norma QK...