.@karpathy zegt dat LLM's momenteel de culturele accumulatie en zelfspel missen die mensen uit de savanne heeft geholpen: Cultuur: > “Waarom kan een LLM geen boek schrijven voor de andere LLM's? Waarom kunnen andere LLM's dit boek van deze LLM niet lezen en geïnspireerd of geschokt worden?” Zelfspel: > “Het is extreem krachtig. Evolutie heeft veel concurrentie die intelligentie en evolutie aandrijft. AlphaGo speelt tegen zichzelf en zo leert het echt goed te worden in Go. Er is geen equivalent van zelfspel in LLM's. Waarom kan een LLM bijvoorbeeld geen heleboel problemen creëren die een andere LLM aan het leren is op te lossen? Dan probeert de LLM altijd steeds moeilijkere problemen te dienen.” Ik vroeg Karpathy waarom LLM's nog niet in staat zijn om cultuur op te bouwen zoals mensen dat doen. > “De dommere modellen lijken opmerkelijk op een kleuterschoolleerling. [De slimste modellen voelen nog steeds als] basisschoolleerlingen. Op de een of andere manier zijn we nog niet genoeg afgestudeerd zodat [deze modellen] de overhand kunnen nemen. Mijn Claude Code of Codex, ze voelen nog steeds als deze leerling in de basisschoolleeftijd. Ik weet dat ze PhD-quizzen kunnen maken, maar ze voelen cognitief nog steeds als een kleuter.” > “Ik denk niet dat ze cultuur kunnen creëren omdat ze nog kinderen zijn. Het zijn savantkinderen. Ze hebben een perfect geheugen. Ze kunnen overtuigend allerlei rommel creëren die er echt goed uitziet. Maar ik denk nog steeds dat ze niet echt weten wat ze aan het doen zijn. Ze hebben niet echt de cognitie over al deze kleine vinkjes die we nog steeds moeten verzamelen.