皆さん： - 「APIを使うだけ」 ピューディーパイ: - 10x GPU AI サーバーを構築しました (8x 改造された 48GB 4090s、2x RTX 4000 Ada) - TP 用の vLLM でオープンソースモデルを実行する - RAG、DeepResearch、TTSなどの独自のチャットUIをバイブコーディングしました - 自分のモデルを微調整している PewDiePie のようになる GPUを購入する

私たちになる> > ラリー&セルゲイ スタンフォードの寮>、カフェインが揺れ、野心が強い >ぎくならないウェブクローラーをまとめる >誤ってインターネット全体を整理してしまいます >それをGoogleと呼んでいます > 検索、電子メール、地図、ドキュメント、OS、電話、ブラウザ、車、衛星、サーモスタット、AI ラボ、TPU ファーム、量子コンピューターを構築します 2025> >みんながAGIについて話している > OpenAI:「データ、センサー、フィードバック、スケールが必要です」 私たち>:Googleマップ、YouTube、Gmail、Android、Waymo、Pixel、Fitbit、ドキュメント、カレンダー、ストリートビュー、Earth Engineを見つめています >「くそー。私たちはすでにそれをやっていると思います。」 > YouTube: 2.6M 動画/日 > Android:3B電話、センサーデータを24時間7日ストリーミング > Gmail: 1.8B の受信トレイに人間の事前登録 >検索:グローバル規模のRLHF > Waymo: 71M マイルの現実世界の自動運転映像 > Google Earth:地球全体をモデル化 カレンダーも> 書籍や PDF で LLM をトレーニングする>人 >私たちは人間性について訓練します すべてのクリック、スワイプ、タップ、スペルミス検索、スクロール、ブックマークのすべての> >地獄(または天国)からのフィードバックループ >誰に尋ねるかによります > OpenAI:「GPUには$100Bが必要だ」 私たち>:すでに構築されたTPU カスタムシリコン> >データセンターは、プラネタリーデータレイクと事前に同じ場所に配置されています > エグレスや遅延なし >ただのバイブと失敗 > coders: GitHub リポジトリでの微調整 >:20億行の内部コード >ラベル付け、タイプ、テスト済み >すべてのコミットはトレーニングシグナルです > Code LLMはモノレポになることを夢見ています AGIのレシピ>? > マルチモーダルな知覚 > 実際のフィードバック >巨大なコードベース >スケーラブルなコンピューティング >アライメント信号 > 具現化されたセンサー ユーザーデータを数日間> >ええ、2016年頃からそうでした > 投資家デッキはありません > 1兆ドルの誇大広告ラウンドはありません >地球の25年間の偶然のシミュレーションにすぎません > 本番環境での実行 > OpenAIがAGIを構築するために$1Tを調達 >投資家はそれを革命的と呼んでいます >:ストリートビューで10Mの新しいマイルを静かにマッピング > さらに 80 PB の地球画像を同期しています > Fitbitの生体信号をもう1年収集しています ファンデーションモデルを楽しむ> >私たちは財団を所有しています >人:「しかし、Googleは手探りしている」 >本当です >私たちは120か国で同時に手探りしています 地球上で最大のコンピューティングフットプリントと研究チームで> >十分に激しくファンブルすれば、再び勝利につなげることができます AGI>? >構築する必要はありません >すでに建物の中にある > Chrome タブとドキュメントのリビジョンを利用しています MFW>、私たちは20年間を費やして現実をインデックス化しました > 私たちのデータがあまりにも優れているため、私たちは怖くなります > MFW が私たちを AGI から止めている唯一のものは、4 人の副社長と 1 人の混乱した弁護士の間の会議です >それを研究と呼んでいます >それをスケールと呼んでいます >それを「サービスとしての惑星シミュレーション」と呼んでいます >私たちはそれを火曜日と呼んでいます

先週、Karpathy は LLM へのスピードランの道のりを歩むための究極のガイドをドロップしました このプロジェクトでは、すべての基本要素を 8K 行のコードで構築します > トークナイザーのトレーニング — 新しい Rust 実装 finewebでトランスフォーマーLLMを事前トレーニングする> > さまざまな指標にわたってコアスコアを評価する > midtrain — smoltalk からのユーザーアシスタントの会話、 >多肢選択式Q、ツール使用 SFT >、次のチャット モデルを評価します。 > 世界知識 MCQ (arc-e/c、mmlu) >数学 (GSM8K) >コード(人道的) 「grpo」を使用してGSM8kのモデル(オプションで)をRLに>します。 >効率的な推論: >kvキャッシュ、高速プリフィル/デコード >ツールの使用(Pythonインタプリタ、サンドボックス) CLI または ChatGPT のような WebUI 経由の>アクセス 単一のマークダウン レポート カードを書く>、 > パイプライン全体の要約+ゲーミフィケーション 構築するモデル: >ロータリーのみ(位置埋め込みなし) > QKノルム > 結ばれない埋め込み/埋め込み解除 トークン埋め込み後の>規範 > relu² mlp > 線形にバイアスがない > rmsnorm (学習可能なパラメータなし) > MQA (マルチクエリ アテンション) >ロジットソフトキャップ >オプティマイザー:ミューオン+ADAMW もし私が数年前にこれを持っていたら、痛みの半分をかわし、ウサギの穴を2倍にスキップしていたでしょう ハッピーハッキング