na semana passada, Karpathy lançou o guia ULTIMATE para acelerar seu caminho para LLMs Neste projeto, você construirá todos os elementos essenciais, tudo com menos de 8 mil linhas de código > treinar o tokenizer — nova implementação do Rust > pré-treinar um LLM de transformador no fineweb > avaliar a pontuação principal em várias métricas > midtrain — conversas de assistente de usuário do smoltalk, > Qs de múltipla escolha, uso de ferramentas > sft e, em seguida, avaliar o modelo de bate-papo em: > conhecimento do mundo MCQ (arc-e/c, mmlu) > matemática (gsm8k) Código > (humano) > o modelo RL (opcionalmente) no GSM8K com "GRPO" > inferência eficiente: > kv de cache, pré-preenchimento/decodificação rápidos > uso da ferramenta (interpretador python, sandboxed) > acesso via CLI ou webUI semelhante ao ChatGPT > escrever um único boletim de remarcação, > resumindo + gamificando todo o pipeline O modelo que você criará: > somente rotativo (sem incorporações posicionais) > norma qk...