.@karpathy sagt, dass LLMs derzeit die kulturelle Akkumulation und das Selbstspiel fehlen, die die Menschen aus der Savanne herausgeführt haben: Kultur: > „Warum kann ein LLM kein Buch für die anderen LLMs schreiben? Warum können andere LLMs dieses Buch des LLMs nicht lesen und davon inspiriert oder schockiert werden?“ Selbstspiel: > „Es ist extrem mächtig. Die Evolution hat viel Wettbewerb, der Intelligenz und Evolution antreibt. AlphaGo spielt gegen sich selbst und so lernt es, wirklich gut in Go zu werden. Es gibt kein Äquivalent zum Selbstspiel in LLMs. Warum kann ein LLM zum Beispiel nicht eine Menge von Problemen erstellen, die ein anderes LLM zu lösen lernt? Dann versucht das LLM immer, immer schwierigere Probleme zu bedienen.“ Ich habe Karpathy gefragt, warum LLMs immer noch nicht in der Lage sind, Kultur aufzubauen, wie es die Menschen tun. > „Die dümmeren Modelle ähneln bemerkenswert einem Kindergartenkind. [Die intelligentesten Modelle fühlen sich jedoch immer noch wie] Grundschüler an. Irgendwie haben wir immer noch nicht genug abgeschlossen, wo [diese Modelle] übernehmen können. Mein Claude Code oder Codex, sie fühlen sich immer noch wie dieses Grundschulkind an. Ich weiß, dass sie PhD-Quizze bestehen können, aber sie fühlen sich immer noch kognitiv wie ein Kindergartenkind an.“ > „Ich glaube nicht, dass sie Kultur schaffen können, weil sie immer noch Kinder sind. Sie sind savant Kinder. Sie haben ein perfektes Gedächtnis. Sie können überzeugend alle Arten von Unsinn erstellen, die wirklich gut aussehen. Aber ich denke immer noch, dass sie nicht wirklich wissen, was sie tun. Sie haben nicht wirklich die Kognition über all diese kleinen Kontrollkästchen, die wir immer noch sammeln müssen.