يقول .@karpathy أن LLMs تفتقر حاليا إلى التراكم الثقافي واللعب الذاتي الذي دفع البشر إلى الخروج من السافانا: الثقافة: > "لماذا لا يستطيع ماجستير القانون كتابة كتاب لماجستير القانون الآخرين؟ لماذا لا يستطيع الباحثون الآخرون في القانون قراءة كتاب ماجستير القانون هذا والإلهام منه أو صدموا منه؟ اللعب الذاتي: > "إنه قوي للغاية. التطور لديه الكثير من المنافسة التي تقود الذكاء والتطور. تلعب AlphaGo ضد نفسها وهذه هي الطريقة التي تتعلم بها أن تصبح جيدة حقا في Go. لا يوجد ما يعادل اللعب الذاتي في LLMs. لماذا لا يستطيع LLM ، على سبيل المثال ، إنشاء مجموعة من المشكلات التي يتعلم LLM آخر حلها؟ ثم تحاول LLM دائما خدمة المزيد والمزيد من المشاكل الصعبة ". سألت كارباثي لماذا لا يزال LLMs غير قادر بعد على بناء الثقافة بالطريقة التي يفعل بها البشر. > "النماذج الغبية تشبه بشكل ملحوظ طالب رياض أطفال. [لا تزال أذكى العارضات تشعر] بطلاب المدارس الابتدائية. بطريقة ما ، ما زلنا لم نتخرج بما يكفي حيث يمكن [لهذه النماذج] تولي زمام الأمور. قانون كلود الخاص بي أو مخطوطة ، ما زالوا يشعرون وكأنهم طالب الصف الابتدائي. أعلم أنه يمكنهم إجراء اختبارات الدكتوراه ، لكنهم ما زالوا يشعرون معرفيا وكأنهم روضة أطفال ". > "لا أعتقد أنهم يستطيعون خلق ثقافة لأنهم ما زالوا أطفالا. إنهم أطفال متمرسون. لديهم ذاكرة مثالية. يمكنهم إنشاء جميع أنواع الانحدار بشكل مقنع الذي يبدو جيدا حقا. لكنني ما زلت أعتقد أنهم لا يعرفون حقا ما يفعلونه. ليس لديهم حقا الإدراك عبر كل مربعات الاختيار الصغيرة هذه التي لا يزال يتعين علينا جمعها ".