tuần trước, Karpathy đã phát hành hướng dẫn TỐI THƯỢNG để nhanh chóng bước vào LLMs trong dự án này, bạn sẽ xây dựng tất cả những điều cần thiết, tất cả dưới 8k dòng mã > huấn luyện tokenizer — triển khai rust mới > tiền huấn luyện một transformer LLM trên fineweb > đánh giá điểm cốt lõi qua một loạt các chỉ số > midtrain — các cuộc hội thoại giữa người dùng và trợ lý từ smoltalk, > câu hỏi trắc nghiệm, sử dụng công cụ > sft, sau đó đánh giá mô hình chat trên: > kiến thức thế giới MCQ (arc-e/c, mmlu) > toán học (gsm8k) > mã (humaneval) > rl mô hình (tùy chọn) trên gsm8k với “grpo” > suy diễn hiệu quả: > bộ nhớ kv, điền/giải mã nhanh > sử dụng công cụ (trình thông dịch python, trong môi trường cách ly) > truy cập qua cli hoặc giao diện web giống chatgpt > viết một báo cáo markdown duy nhất, > tóm tắt + gamify toàn bộ quy trình mô hình bạn sẽ xây dựng: > chỉ rotary (không có nhúng vị trí) > qk norm...