先週、Karpathy は LLM へのスピードランの道のりを歩むための究極のガイドをドロップしました このプロジェクトでは、すべての基本要素を 8K 行のコードで構築します > トークナイザーのトレーニング — 新しい Rust 実装 finewebでトランスフォーマーLLMを事前トレーニングする> > さまざまな指標にわたってコアスコアを評価する > midtrain — smoltalk からのユーザーアシスタントの会話、 >多肢選択式Q、ツール使用 SFT >、次のチャット モデルを評価します。 > 世界知識 MCQ (arc-e/c、mmlu) >数学 (GSM8K) >コード(人道的) 「grpo」を使用してGSM8kのモデル(オプションで)をRLに>します。 >効率的な推論: >kvキャッシュ、高速プリフィル/デコード >ツールの使用(Pythonインタプリタ、サンドボックス) CLI または ChatGPT のような WebUI 経由の>アクセス 単一のマークダウン レポート カードを書く>、 > パイプライン全体の要約+ゲーミフィケーション 構築するモデル: >ロータリーのみ(位置埋め込みなし) > QKノルム...