.@karpathy mówi, że LLM-y obecnie brakuje kulturowego akumulacji i samodzielnej gry, które wyniosły ludzi z sawanny: Kultura: > „Dlaczego LLM nie może napisać książki dla innych LLM-ów? Dlaczego inne LLM-y nie mogą przeczytać książki tego LLM-a i być nią zainspirowane lub zszokowane?” Samodzielna gra: > „To jest niezwykle potężne. Ewolucja ma wiele konkurencji napędzającej inteligencję i ewolucję. AlphaGo gra przeciwko sobie i w ten sposób uczy się, jak być naprawdę dobrym w Go. Nie ma odpowiednika samodzielnej gry w LLM-ach. Dlaczego LLM, na przykład, nie może stworzyć zestawu problemów, które inny LLM uczy się rozwiązywać? Wtedy LLM zawsze stara się rozwiązywać coraz trudniejsze problemy.” Zapytałem Karpathy'ego, dlaczego LLM-y wciąż nie są w stanie budować kultury tak, jak robią to ludzie. > „Głupsze modele niezwykle przypominają ucznia przedszkola. [Najmądrzejsze modele wciąż czują się jak] uczniowie szkoły podstawowej. Jakoś wciąż nie ukończyliśmy wystarczająco, aby [te modele] mogły przejąć kontrolę. Mój Claude Code lub Codex, wciąż czują się jak uczniowie na poziomie podstawowym. Wiem, że mogą zdawać egzaminy na poziomie doktoranckim, ale wciąż poznawczo czują się jak przedszkolak.” > „Nie sądzę, że mogą tworzyć kulturę, ponieważ wciąż są dziećmi. To są dzieci-savanty. Mają doskonałą pamięć. Mogą przekonująco tworzyć wszelkiego rodzaju bałagan, który wygląda naprawdę dobrze. Ale wciąż myślę, że nie wiedzą, co robią. Nie mają naprawdę poznania we wszystkich tych małych checkboxach, które wciąż musimy zebrać.”