.@karpathy sanoo, että LLM:istä puuttuu tällä hetkellä kulttuurinen kasautuminen ja itseleikki, joka ajoi ihmiset pois savannilta: Kulttuuri: > "Miksi LLM ei voi kirjoittaa kirjaa muille LLM:ille? Miksi muut LLM:t eivät voi lukea tämän LLM:n kirjaa ja inspiroitua siitä tai järkyttyä siitä?" Itseleikki: > "Se on äärimmäisen voimakas. Evoluutiolla on paljon kilpailua, joka ohjaa älykkyyttä ja evoluutiota. AlphaGo pelaa itseään vastaan ja näin se oppii tulemaan todella hyväksi Gossa. LLM-peleissä ei ole vastinetta itsepelaamiselle. Miksi esimerkiksi LLM ei voi luoda joukkoa ongelmia, joita toinen LLM oppii ratkaisemaan? Sitten LLM yrittää aina palvella yhä vaikeampia ongelmia." Kysyin Karpathylta, miksi LLM:t eivät vieläkään pysty rakentamaan kulttuuria samalla tavalla kuin ihmiset. > "Tyhmemmät mallit muistuttavat huomattavasti päiväkotioppilasta. [Älykkäimmät mallit tuntuvat edelleen] kuitenkin peruskoululaisilta. Jotenkin emme ole vieläkään valmistuneet tarpeeksi, missä [nämä mallit] voivat ottaa vallan. Minun Claude-koodini tai Codexini, he tuntuvat edelleen ala-asteen oppilailta. Tiedän, että he voivat osallistua tohtorintutkinnon tietokilpailuihin, mutta he tuntevat silti kognitiivisesti olevansa lastentarha." > "En usko, että he voivat luoda kulttuuria, koska he ovat vielä lapsia. He ovat viisaita lapsia. Heillä on täydellinen muisti. Ne voivat vakuuttavasti luoda kaikenlaista kaltevuutta, joka näyttää todella hyvältä. Mutta uskon silti, että he eivät oikeastaan tiedä, mitä tekevät. Heillä ei todellakaan ole kognitiota kaikissa näissä pienissä valintaruuduissa, jotka meidän on vielä kerättävä."