كل: - "فقط استخدم واجهة برمجة التطبيقات" بيو ديباي: - تم بناء خادم الذكاء الاصطناعي لوحدة معالجة الرسومات 10x (8x معدل 48 جيجابايت 4090 ثانية ، 2x RTX 4000 Ada) - يدير نماذج مفتوحة المصدر مع vLLM ل TP - تم ترميز واجهة مستخدم الدردشة الخاصة به ، بما في ذلك RAG و DeepResearch و TTS - يقوم بضبط نموذجه الخاص كن مثل PewDiePie شراء وحدة معالجة الرسومات

> نكون نحن > لاري وسيرجي > في مسكن في ستانفورد ، يختز الكافيين ، الطموح الجامح > صفع معا زاحف ويب غير مرغوب فيه > عن طريق الخطأ تنظيم الإنترنت بالكامل > تسميها جوجل > إنشاء البحث والبريد الإلكتروني والخرائط والمستندات ونظام التشغيل والهواتف والمتصفح والسيارة والأقمار الصناعية والترموستات ومختبر الذكاء الاصطناعي ومزرعة TPU والكمبيوتر الكمي > 2025 > الجميع يتحدث عن الذكاء الاصطناعي العام > OpenAI: "نحن بحاجة إلى البيانات وأجهزة الاستشعار والتغذية الراجعة والحجم" > لنا: التحديق في خرائط Google و YouTube و Gmail و Android و Waymo و Pixel و Fitbit و Docs و Calendar و Street View و Earth Engine > "اللعنة. أعتقد أننا فعلنا ذلك بالفعل ". > يوتيوب: 2.6 مليون فيديو / يوم > Android: هواتف 3B ، بيانات مستشعر متدفقة 24/7 > Gmail: 1.8 مليار صندوق وارد من الإصدارات البشرية البحث >: RLHF على نطاق عالمي > Waymo: 71 مليون ميل من لقطات القيادة الذاتية في العالم الحقيقي > Google Earth: على غرار الكوكب بأكمله > أيضا التقويم الخاص بك > الأشخاص الذين يدربون LLMs على الكتب وملفات PDF > نتدرب على الإنسانية > كل نقرة وتمرير ونقرة وبحث به أخطاء إملائية وتمرير وإشارة مرجعية حلقة ردود الفعل > من الجحيم (أو الجنة) يعتمد > على من تسأل > OpenAI: "نحتاج إلى 100 مليار دولار لوحدات معالجة الرسومات" > لنا: وحدات TPU التي تم بناؤها بالفعل > سيليكون مخصص مراكز بيانات > في موقع مشترك مسبقا مع بحيرات بيانات الكواكب > لا خروج ولا زمن انتقال > فقط المشاعر و FLOPs مبرمجو >: الضبط الدقيق على مستودعات GitHub > لنا: 2 مليار سطر من التعليمات البرمجية الداخلية > مصنفة ومكتوبة ومختبرة > كل التزام هو إشارة تدريب يحلم > Code LLMs بأن يكونوا monorepo لدينا > وصفة AGI؟ > الإدراك متعدد الوسائط > ردود الفعل في العالم الحقيقي > قاعدة بيانات عملاقة > حوسبة قابلة للتطوير إشارات محاذاة > > أجهزة استشعار مجسدة > بيانات المستخدم لعدة أيام > نعم ، لدينا ذلك منذ عام 2016 > لا توجد طوابق مستثمرين > لا جولات ضجيج بقيمة تريليون دولار > مجرد محاكاة عرضية للأرض لمدة 25 عاما > تعمل في الإنتاج > OpenAI تجمع 1 تريليون دولار لبناء AGI > يسميها المستثمرون ثورية > لنا: رسم خرائط بهدوء لمسافة 10 ملايين ميل جديد في التجول الافتراضي > مزامنة 80 بيتابايت أخرى من صور Earth > جمع عام آخر من الإشارات الحيوية Fitbit > الاستمتاع بنموذج كريم الأساس الخاص بك > نحن نمتلك المؤسسة > الناس: "لكن Google تتخبط" > صحيح > نحن نتحسس في 120 دولة في وقت واحد > بأكبر بصمة حوسبة وفريق بحث على وجه الأرض > تتعثر بقوة كافية وتعود إلى الفوز > AGI؟ > لسنا بحاجة إلى بنائه > موجود بالفعل داخل المبنى > مدعوم من علامات تبويب Chrome ومراجعات المستندات > mfw ، أمضينا 20 عاما في فهرسة الواقع > mfw بياناتنا جيدة جدا لدرجة أنها تخيفنا > mfw ، فإن الشيء الوحيد الذي يمنعنا من AGI هو اجتماع بين أربعة نواب رئيس ومحام مرتبك > نسميها البحث > نسميها مقياس > نسميها "محاكاة الكواكب كخدمة" > نسميها الثلاثاء

في الأسبوع الماضي ، أسقطت Karpathy دليل ULTIMATE للجري السريع في طريقك إلى LLMs في هذا المشروع ، ستقوم ببناء جميع الأساسيات ، وكلها أقل من 8 آلاف سطر من التعليمات البرمجية > تدريب الرمز المميز - تنفيذ RUST جديد > التدريب المسبق لمحول LLM على fineweb > تقييم النتيجة الأساسية عبر مجموعة من المقاييس > منتصف القطار - محاكاة مساعد المستخدم من Smoltalk ، > الاختيار من متعدد Qs ، استخدام الأداة > sft ، ثم قم بتقييم نموذج الدردشة على: > المعرفة العالمية MCQ (arc-e / c ، mmlu) > الرياضيات (GSM8K) كود > (الإنساني) > النموذج (اختياريا) على GSM8K باستخدام "grpo" > الاستدلال الفعال: ذاكرة تخزين مؤقت > كيلو فولت ، تعبئة / فك تشفير سريعة استخدام أداة > (مترجم بايثون ، وضع حماية) > الوصول عبر واجهة سطر الأوامر (CLI) أو واجهة مستخدم الويب الشبيهة ب ChatGPT > كتابة بطاقة تقرير تخفيض واحدة ، > تلخيص + التلعيب في خط الأنابيب بأكمله النموذج الذي ستقوم بإنشائه: > دوار فقط (بدون تضمينات موضعية) > معيار QK > التضمين / إلغاء التضمين غير المقيد > المعيار بعد تضمين الرمز المميز > relu² MLP > لا توجد تحيزات في الخطيات > rmsnorm (لا توجد معلمات قابلة للتعلم) > MQA (انتباه متعدد الاستعلامات) > logit softcap محسن >: Muon + Adamw إذا كان لدي هذا قبل عامين ، كنت قد تهربت من نصف الألم وتخطيت ضعف ثقوب الأرانب قرصنة سعيدة