Karpathy mengatakan kita membutuhkan sistem multi-agen untuk 'bermain sendiri' yaitu bersaing dan belajar dari satu sama lain Kambing dan Ruang Belakang Lebih Awal Tidak Salah

.@karpathy mengatakan bahwa LLM saat ini tidak memiliki akumulasi budaya dan permainan diri yang mendorong manusia keluar dari sabana: Budaya: > "Mengapa LLM tidak bisa menulis buku untuk LLM lainnya? Mengapa LLM lain tidak bisa membaca buku LLM ini dan terinspirasi olehnya, atau terkejut olehnya?" Permainan mandiri: > "Ini sangat kuat. Evolusi memiliki banyak persaingan yang mendorong kecerdasan dan evolusi. AlphaGo bermain melawan dirinya sendiri dan begitulah cara ia belajar untuk menjadi benar-benar pandai di Go. Tidak ada yang setara dengan permainan diri sendiri dalam LLM. Mengapa LLM, misalnya, tidak dapat menciptakan banyak masalah yang LLM lain sedang belajar untuk dipecahkan? Kemudian LLM selalu berusaha melayani masalah yang semakin sulit." Saya bertanya kepada Karpathy mengapa LLM masih belum mampu membangun budaya seperti yang dilakukan manusia. > "Model yang lebih bodoh sangat mirip dengan siswa taman kanak-kanak. [Model terpintar masih terasa seperti] siswa sekolah dasar. Entah bagaimana, kami masih belum cukup lulus di mana [model-model ini] dapat mengambil alih. Kode Claude atau Codex saya, mereka masih merasa seperti siswa kelas dasar ini. Saya tahu bahwa mereka dapat mengikuti kuis PhD, tetapi mereka masih merasa seperti taman kanak-kanak." > "Saya tidak berpikir mereka bisa menciptakan budaya karena mereka masih anak-anak. Mereka adalah anak-anak yang cerdas. Mereka memiliki ingatan yang sempurna. Mereka dapat dengan meyakinkan membuat semua jenis slop yang terlihat sangat bagus. Tapi saya masih berpikir mereka tidak benar-benar tahu apa yang mereka lakukan. Mereka tidak benar-benar memiliki kognisi di semua kotak centang kecil yang masih harus kami kumpulkan."