.@karpathy afferma che gli LLM attualmente mancano dell'accumulo culturale e del self-play che hanno spinto gli esseri umani fuori dalla savana: Cultura: > “Perché un LLM non può scrivere un libro per gli altri LLM? Perché gli altri LLM non possono leggere il libro di questo LLM e trarne ispirazione, o rimanere scioccati?” Self play: > “È estremamente potente. L'evoluzione ha molta competizione che guida l'intelligenza e l'evoluzione. AlphaGo gioca contro se stesso ed è così che impara a diventare davvero bravo a Go. Non c'è un equivalente del self-play negli LLM. Perché un LLM, ad esempio, non può creare un sacco di problemi che un altro LLM sta imparando a risolvere? Così l'LLM sta sempre cercando di affrontare problemi sempre più difficili.” Ho chiesto a Karpathy perché gli LLM non siano ancora in grado di costruire cultura come fanno gli esseri umani. > “I modelli più stupidi somigliano notevolmente a uno studente dell'asilo. [I modelli più intelligenti sembrano ancora] studenti delle scuole elementari, però. In qualche modo, non ci siamo ancora diplomati abbastanza perché [questi modelli] possano prendere il controllo. Il mio Claude Code o Codex, sembrano ancora questo studente di grado elementare. So che possono affrontare quiz da dottorato, ma cognitivamente si sentono ancora come un asilo.” > “Non penso che possano creare cultura perché sono ancora bambini. Sono bambini prodigio. Hanno una memoria perfetta. Possono creare in modo convincente tutti i tipi di porcheria che sembrano davvero buone. Ma penso ancora che non sappiano davvero cosa stanno facendo. Non hanno davvero la cognizione su tutte queste piccole caselle che dobbiamo ancora raccogliere.”