في المقالة الرابعة حول تنفيذ vLLMs من البداية ، نوجه انتباهنا إلى مكون آخر يبدو بسيطا ولكنه حاسم في بنية المحولات: RMSNorm (تطبيع متوسط مربع الجذر). دعنا أولا نلقي نظرة على ماهية التطبيع ، لنفترض أنك قد انتهيت للتو من الاختبار النهائي وظهرت نتائج الدورات الثلاث: الرياضيات: 120 من 150 الإنجليزية: 80 من 100 الفيزياء: 160 من 200 ما هي الدورة الأفضل؟ إذا قارنت 120 ، 80 ، 160 مباشرة ، فستصل إلى أفضل استنتاج في الفيزياء. لكن الوضع الحقيقي هو أن الدورات الثلاث جيدة في الواقع. الرياضيات: 120/150 = 80٪ اللغة الإنجليزية: 80/100 = 80٪ المادية: 160/200 = 80٪ هذه هي الفكرة الأساسية للتطبيع: تحويل البيانات ذات الأبعاد المختلفة والنطاقات المختلفة إلى معيار موحد للمقارنة. لماذا تحتاج الشبكات العصبية إلى التطبيع؟ تخيل أنك تلعب لعبة مراسلة. قال الشخص الأول "أنا أحب التفاح" ، وعندما انتقل إلى الشخص العاشر ، أصبح "أنا أحب الأناناس". هذه هي المشكلة التي تواجهها الشبكات العصبية العميقة. تقوم كل طبقة من الشبكة بإجراء بعض العمليات الحسابية على الإدخال ثم تمرر النتائج إلى الطبقة التالية. تكمن المشكلة في أنه مع زيادة عدد الطبقات ، تصبح هذه القيم غير قابلة للسيطرة أكثر فأكثر - إما تنفجر أو تختفي دون أن يترك أثرا. مثل لعبة المراسلة ، يتم تشويه المعلومات تدريجيا أثناء الإرسال. يمكن أن تؤدي إضافة طبقة تطبيع إلى النموذج إلى تقليل احتمالية انفجار التدرج أو الاختفاء ، وتصبح عملية تدريب النموذج أكثر استقرارا. تطورت تقنية التطبيع من BatchNorm إلى LayerNorm وأخيرا إلى RMSNorm ، لتصبح التكوين القياسي للنماذج الكبيرة. ستأخذك مقالتي إلى تاريخ تطور تكنولوجيا التطبيع ، إذا كنت مهتما ، يمكنك التحقق من المقالة الأصلية.

مهارات وكيل كلود هي في الأساس "تفريغ سياق" ينقل معلومات المهارة الطويلة خارج السياق ويقوم بتحميلها عند الطلب. من قبيل الصدفة ، شاركت Manus 'Peak مؤخرا أيضا بعض نصائح "التفريغ السياقي". لدى Manus العديد من الأدوات ، لكنه لا يعطي النموذج تعريفا كاملا لهذه الأدوات. فكيف تعرف ما هي الأدوات الموجودة وكيف تسميها؟ تخيل أنك تمنحك جهاز كمبيوتر جديدا ، كيف تعرف الأدوات المتاحة؟ سيفتح المستخدم العادي قائمة التطبيقات ، وسيقوم المبرمج ب "ls /usr/bin" لمعرفة الأوامر المتاحة. وبالمثل ، فإن حل Manus هو إخبار النموذج في موجه النظام بأن هناك العديد من الأدوات المساعدة لسطر الأوامر المثبتة مسبقا في مجلد معين. الأدوات الأكثر استخداما (ls ، grep ، cat ، أقل ، أكثر ، إلخ) مضمنة في مطالبات النظام افتراضيا. بدلا من إخبار النموذج بكيفية استخدام الأدوات ، ما عليك سوى إدراج اسم الأداة ثم إخباره بكيفية استخدام المعلمة --help لفهم كيفية استخدام الأداة. أفضل جزء هو أن نماذج تشغيل shell هذه قد تم تعلمها ، لذا فهي تتمتع بقدرة تعميم قوية ، ولإضافة أدوات جديدة ، ما عليك سوى وضع أمر في المجلد. لقد وجدت أن مانوس اتبع حقا فلسفة يونكس حتى النهاية: KISS (حافظ على الأمر بسيطا ، غبي).