.@karpathy dice que los LLMs actualmente carecen de la acumulación cultural y el autoaprendizaje que impulsaron a los humanos fuera de la sabana: Cultura: > “¿Por qué un LLM no puede escribir un libro para los otros LLMs? ¿Por qué otros LLMs no pueden leer el libro de este LLM y sentirse inspirados por él, o sorprendidos por él?” Autoaprendizaje: > “Es extremadamente poderoso. La evolución tiene mucha competencia que impulsa la inteligencia y la evolución. AlphaGo juega contra sí mismo y así es como aprende a ser realmente bueno en Go. No hay un equivalente al autoaprendizaje en los LLMs. ¿Por qué un LLM, por ejemplo, no puede crear un montón de problemas que otro LLM está aprendiendo a resolver? Entonces el LLM siempre está tratando de servir problemas cada vez más difíciles.” Le pregunté a Karpathy por qué los LLMs aún no pueden construir cultura de la manera en que lo hacen los humanos. > “Los modelos más tontos se parecen notablemente a un estudiante de jardín de infantes. [Los modelos más inteligentes todavía se sienten como] estudiantes de escuela primaria, sin embargo. De alguna manera, todavía no hemos graduado lo suficiente como para que [estos modelos] puedan hacerse cargo. Mi Claude Code o Codex, todavía se sienten como este estudiante de grado elemental. Sé que pueden tomar exámenes de doctorado, pero todavía cognitivamente se sienten como un jardín de infantes.” > “No creo que puedan crear cultura porque todavía son niños. Son niños prodigio. Tienen memoria perfecta. Pueden crear de manera convincente todo tipo de cosas que se ven realmente bien. Pero todavía creo que no saben realmente lo que están haciendo. No tienen realmente la cognición a través de todos estos pequeños casilleros que todavía tenemos que recopilar.