.@karpathy dit que les LLM manquent actuellement de l'accumulation culturelle et du jeu autonome qui ont propulsé les humains hors de la savane : Culture : > « Pourquoi un LLM ne peut-il pas écrire un livre pour les autres LLM ? Pourquoi d'autres LLM ne peuvent-ils pas lire le livre de ce LLM et en être inspirés, ou choqués ? » Jeu autonome : > « C'est extrêmement puissant. L'évolution a beaucoup de compétition qui stimule l'intelligence et l'évolution. AlphaGo joue contre lui-même et c'est ainsi qu'il apprend à devenir vraiment bon au Go. Il n'y a pas d'équivalent du jeu autonome dans les LLM. Pourquoi un LLM, par exemple, ne peut-il pas créer un tas de problèmes qu'un autre LLM apprend à résoudre ? Alors le LLM essaie toujours de servir des problèmes de plus en plus difficiles. » J'ai demandé à Karpathy pourquoi les LLM ne sont toujours pas capables de construire une culture comme le font les humains. > « Les modèles les plus simples ressemblent remarquablement à un élève de maternelle. [Les modèles les plus intelligents semblent encore comme] des élèves de l'école élémentaire. D'une manière ou d'une autre, nous n'avons pas encore assez gradué pour que [ces modèles] puissent prendre le relais. Mon Claude Code ou Codex, ils semblent toujours comme cet élève de niveau élémentaire. Je sais qu'ils peuvent passer des quiz de doctorat, mais ils se sentent toujours cognitivement comme un élève de maternelle. » > « Je ne pense pas qu'ils puissent créer de la culture parce qu'ils sont encore des enfants. Ce sont des enfants prodiges. Ils ont une mémoire parfaite. Ils peuvent créer de manière convaincante toutes sortes de choses qui semblent vraiment bonnes. Mais je pense toujours qu'ils ne savent pas vraiment ce qu'ils font. Ils n'ont pas vraiment la cognition à travers toutes ces petites cases que nous devons encore collecter. »