la semana pasada, Karpathy lanzó la GUÍA DEFINITIVA para acelerar tu camino hacia los LLMs en este proyecto, construirás todos los elementos esenciales, todo en menos de 8k líneas de código > entrena el tokenizador — nueva implementación en rust > preentrena un LLM transformer en fineweb > evalúa la puntuación central a través de un montón de métricas > midtrain — conversaciones usuario-asistente de smoltalk, > preguntas de opción múltiple, uso de herramientas > sft, luego evalúa el modelo de chat en: > conocimiento del mundo MCQ (arc-e/c, mmlu) > matemáticas (gsm8k) > código (humaneval) > rl el modelo (opcionalmente) en gsm8k con “grpo” > inferencia eficiente: > caché kv, prellenado/decodificación rápida > uso de herramientas (intérprete de python, en un entorno aislado) > acceso a través de cli o interfaz web similar a chatgpt > escribe un único informe en markdown, > resumiendo + gamificando todo el pipeline el modelo que construirás: > solo rotatorio (sin embeddings posicionales) > norma qk...