.@karpathy nói rằng các LLM hiện tại thiếu sự tích lũy văn hóa và tự chơi mà đã thúc đẩy con người ra khỏi thảo nguyên: Văn hóa: > “Tại sao một LLM không thể viết một cuốn sách cho các LLM khác? Tại sao các LLM khác không thể đọc cuốn sách của LLM này và được truyền cảm hứng từ nó, hoặc bị sốc bởi nó?” Tự chơi: > “Nó cực kỳ mạnh mẽ. Sự tiến hóa có rất nhiều cạnh tranh thúc đẩy trí thông minh và sự tiến hóa. AlphaGo đang chơi chống lại chính nó và đó là cách nó học để trở nên thực sự giỏi ở Go. Không có tương đương của tự chơi trong các LLM. Tại sao một LLM, chẳng hạn, không thể tạo ra một loạt vấn đề mà một LLM khác đang học để giải quyết? Sau đó, LLM luôn cố gắng phục vụ những vấn đề ngày càng khó hơn.” Tôi đã hỏi Karpathy tại sao các LLM vẫn chưa thể xây dựng văn hóa theo cách mà con người làm. > “Các mô hình kém thông minh một cách đáng kể giống như một học sinh mẫu giáo. [Các mô hình thông minh nhất vẫn cảm thấy như] học sinh tiểu học. Bằng cách nào đó, chúng ta vẫn chưa tốt nghiệp đủ để [các mô hình này] có thể đảm nhận. Claude Code hoặc Codex của tôi, chúng vẫn cảm thấy như một học sinh cấp tiểu học. Tôi biết rằng chúng có thể làm bài kiểm tra PhD, nhưng chúng vẫn cảm thấy về mặt nhận thức như một học sinh mẫu giáo.” > “Tôi không nghĩ rằng chúng có thể tạo ra văn hóa vì chúng vẫn là trẻ con. Chúng là những đứa trẻ thiên tài. Chúng có trí nhớ hoàn hảo. Chúng có thể tạo ra một cách thuyết phục tất cả các loại sản phẩm trông rất tốt. Nhưng tôi vẫn nghĩ rằng chúng không thực sự biết mình đang làm gì. Chúng không thực sự có nhận thức qua tất cả những ô nhỏ mà chúng ta vẫn phải thu thập.”