.@karpathy říká, že LLM v současné době postrádají kulturní akumulaci a sebehru, která vyhnala lidi ze savany: Kultura: > "Proč by LLM nemohl napsat knihu pro ostatní LLM? Proč by si ostatní LLM nemohli přečíst tuto knihu LLM a být jí inspirováni nebo šokováni?" Vlastní hra: > "Je to extrémně výkonné. Evoluce má spoustu konkurence, která pohání inteligenci a evoluci. AlphaGo hraje sám proti sobě a tak se učí být v Go opravdu dobrý. V LLM neexistuje žádný ekvivalent self-play. Proč by například LLM nemohl vytvořit spoustu problémů, které se jiný LLM učí řešit? Pak se LLM vždy snaží sloužit více a více obtížným problémům." Zeptal jsem se Karpathyho, proč LLM stále ještě nejsou schopni budovat kulturu tak, jak to dělají lidé. > "Hloupější modelky nápadně připomínají žáky z mateřské školky. [Nejchytřejší modelky se však stále cítí jako] studenti základní školy. Nějak jsme stále neabsolvovali dost na to, abychom mohli [tyto modely] převzít. Můj Claudův kód nebo kodex, pořád mi připadají jako studenti základní třídy. Vím, že mohou skládat doktorandské kvízy, ale stále si kognitivně připadají jako v mateřské školce." > "Nemyslím si, že mohou vytvářet kulturu, protože jsou to stále děti. Jsou to děti učenců. Mají dokonalou paměť. Dokážou přesvědčivě vytvořit všechny druhy břečky, která vypadá opravdu dobře. Ale pořád si myslím, že opravdu nevědí, co dělají. Nemají opravdu znalosti o všech těch malých zaškrtávacích políčkách, která stále musíme sbírat."