الجزء الأكثر إثارة للاهتمام بالنسبة لي هو المكان الذي يصف فيه @karpathy سبب عدم قدرة LLMs على التعلم مثل البشر. كما تتوقع ، ابتكر عبارة مثيرة للذكريات بشكل رائع لوصف RL: "امتصاص أجزاء الإشراف من خلال ماصة". يتم بث مكافأة نهاية واحدة عبر كل رمز مميز في مسار ناجح ، مما يزيد حتى من المنعطفات الخاطئة أو غير ذات الصلة التي تؤدي إلى الإجابة الصحيحة. > "لا يستخدم البشر التعلم المعزز ، كما قلت من قبل. أعتقد أنهم يفعلون شيئا مختلفا. التعلم المعزز أسوأ بكثير مما يعتقده الشخص العادي. التعلم المعزز أمر فظيع. يحدث أن كل ما كان لدينا من قبل أسوأ بكثير ". إذن ماذا يفعل البشر بدلا من ذلك؟ > "الكتاب الذي أقرأه عبارة عن مجموعة من المطالبات بالنسبة لي للقيام بإنشاء بيانات تركيبية. من خلال التلاعب بهذه المعلومات ، تكتسب بالفعل هذه المعرفة. ليس لدينا ما يعادل ذلك مع LLMs. إنهم لا يفعلون ذلك حقا ". > "أود أن أرى أثناء التدريب المسبق نوعا من المرحلة حيث يفكر النموذج في المادة ويحاول التوفيق بينها وما يعرفه بالفعل. لا يوجد ما يعادل أي من هذا. هذا كله بحث." لماذا لا يمكننا إضافة هذا التدريب إلى ماجستير القانون اليوم؟ > "هناك أسباب دقيقة للغاية يصعب فهمها لعدم كونها تافهة. إذا أعطيت فقط الجيل الاصطناعي للنموذج يفكر في كتاب ، فإنك تنظر إليه وأنت مثل ،" هذا يبدو رائعا. لماذا لا يمكنني التدريب عليها؟ يمكنك المحاولة ، لكن النموذج سيزداد سوءا إذا واصلت المحاولة ". > "لنفترض أن لدينا فصلا من كتاب وأطلب من ماجستير في القانون التفكير فيه. سوف يمنحك شيئا يبدو معقولا جدا. ولكن إذا سألته 10 مرات ، فستلاحظ أن جميعهم متشابهون. > "أنت لا تحصل على الثراء والتنوع والإنتروبيا من هذه النماذج كما ستحصل عليها من البشر. كيف يمكنك الحصول على توليد البيانات التركيبية للعمل على الرغم من الانهيار والحفاظ على الانتروبيا؟ إنها مشكلة بحثية ". كيف يتغلب البشر على انهيار النموذج؟ > "هذه المقارنات جيدة بشكل مدهش. ينهار البشر خلال حياتهم. الأطفال لم يفرطوا في اللياقة البدنية بعد. سيقولون أشياء من شأنها أن تصدمك. لأنها لم تنهار بعد. لكننا [الكبار] قد انهارتنا. ينتهي بنا الأمر بإعادة النظر في نفس الأفكار ، وينتهي بنا الأمر بقول المزيد والمزيد من نفس الأشياء ، وتنخفض معدلات التعلم ، ويستمر الانهيار في التدهور ، ثم يتدهور كل شيء ". في الواقع ، هناك ورقة مثيرة للاهتمام تجادل بأن الحلم تطور للمساعدة في التعميم ، ومقاومة الإفراط في التعلم اليومي - ابحث عن الدماغ المجهز من @erikphoel. سألت كارباثي: أليس من المثير للاهتمام أن يتعلم البشر بشكل أفضل في جزء من حياتهم (الطفولة) ينسون تفاصيله الفعلية تماما ، ولا يزال البالغون يتعلمون جيدا ولكن لديهم ذاكرة رهيبة حول تفاصيل الأشياء التي يقرؤونها أو يشاهدونها ، ويمكن ل LLMs حفظ التفاصيل التعسفية حول النص الذي لا يستطيع أي إنسان أن يفعله ولكنه حاليا سيء جدا في التعميم؟ ...