.@karpathy sier at LLM-er for tiden mangler den kulturelle akkumuleringen og selvleken som drev mennesker ut av savannen: Kultur: > «Hvorfor kan ikke en LLM skrive en bok for de andre LLM-ene? Hvorfor kan ikke andre LLM-er lese denne LLMs bok og bli inspirert av den, eller sjokkert over den?» Selvspill: > «Det er ekstremt kraftfullt. Evolusjon har mye konkurranse som driver intelligens og evolusjon. AlphaGo spiller mot seg selv, og det er slik den lærer å bli virkelig god på Go. Det er ingen ekvivalent til selvspill i LLM-er. Hvorfor kan for eksempel ikke en LLM skape en haug med problemer som en annen LLM lærer å løse? Da prøver LLM alltid å betjene flere og vanskeligere problemer.» Jeg spurte Karpathy hvorfor LLM-er fortsatt ikke er i stand til å bygge opp kultur slik mennesker gjør. > "De dummere modellene ligner bemerkelsesverdig på en barnehageelev. [De smarteste modellene føles fortsatt som] barneskoleelever. På en eller annen måte har vi fortsatt ikke uteksaminert nok til at [disse modellene] kan ta over. Min Claude Code eller Codex, de føler seg fortsatt som denne grunnskoleeleven. Jeg vet at de kan ta doktorgradsquizer, men de føler seg fortsatt kognitivt som en barnehage. > «Jeg tror ikke de kan skape kultur fordi de fortsatt er barn. De er kunnskapsrike barn. De har perfekt hukommelse. De kan overbevisende lage alle slags slop som ser veldig bra ut. Men jeg tror fortsatt de ikke helt vet hva de gjør. De har egentlig ikke kognisjonen på tvers av alle disse små avmerkingsboksene som vi fortsatt må samle inn.»