w zeszłym tygodniu Karpathy opublikował OSTATECZNY przewodnik po szybkim wchodzeniu w LLM-y w tym projekcie zbudujesz wszystkie niezbędne elementy, wszystko w mniej niż 8k linii kodu > wytrenuj tokenizer — nowa implementacja w rust > wstępne trenowanie transformera LLM na fineweb > oceniaj wynik podstawowy w różnych metrykach > midtrain — rozmowy użytkownika z asystentem z smoltalk, > pytania wielokrotnego wyboru, użycie narzędzi > sft, a następnie oceniaj model czatu na: > wiedza ogólna MCQ (arc-e/c, mmlu) > matematyka (gsm8k) > kod (humaneval) > rl model (opcjonalnie) na gsm8k z "grpo" > efektywna inferencja: > pamięć podręczna kv, szybkie wypełnianie/dekodowanie > użycie narzędzi (interpreter python, w piaskownicy) > dostęp przez cli lub webui podobne do chatgpt > napisz jeden raport w markdown, > podsumowujący + gamifikujący cały proces model, który zbudujesz: > tylko rotary (bez osadzeń pozycyjnych) > qk norm...