.@karpathy säger att LLM:er för närvarande saknar den kulturella ackumulering och självlek som drev människor ut ur savannen: Kultur: > "Varför kan inte en LLM skriva en bok för de andra LLM:erna? Varför kan inte andra LLM:er läsa denna LLM:s bok och inspireras av den, eller chockas av den?" Självspel: > "Det är extremt kraftfullt. Evolutionen har en hel del konkurrens som driver intelligens och evolution. AlphaGo spelar mot sig själv och det är så den lär sig att bli riktigt bra på Go. Det finns ingen motsvarighet till självspel i LLM. Varför kan inte en LLM, till exempel, skapa en massa problem som en annan LLM lär sig att lösa? Sedan försöker LLM alltid tjäna fler och svårare problem." Jag frågade Karpathy varför LLM:er fortfarande inte kan bygga upp kultur på det sätt som människor gör. > "De dummare modellerna påminner anmärkningsvärt mycket om en förskoleelev. [De smartaste modellerna känns dock fortfarande som] grundskoleelever. På något sätt har vi fortfarande inte graderat tillräckligt där [dessa modeller] kan ta över. Min Claude Code eller Codex, de känns fortfarande som den här grundskoleeleven. Jag vet att de kan göra doktorandquiz, men de känner sig ändå kognitivt som ett dagis. > "Jag tror inte att de kan skapa kultur eftersom de fortfarande är barn. De är savant kids. De har perfekt minne. De kan på ett övertygande sätt skapa alla typer av slask som ser riktigt bra ut. Men jag tror fortfarande att de inte riktigt vet vad de gör. De har inte riktigt den kognition som finns i alla dessa små kryssrutor som vi fortfarande måste samla in."