.@karpathyは、LLMには現在、人間をサバンナから追い出した文化的蓄積と自己遊びが欠けていると述べています。 文化: > 「なぜ LLM が他の LLM のために本を書けないのですか?なぜ他の LLM がこの LLM の本を読んでインスピレーションを受けたり、ショックを受けたりできないのでしょうか?」 セルフプレイ: > 「非常に強力です。進化には、知性と進化を推進する多くの競争があります。アルファ碁は自分自身と対戦しており、そうすることで囲碁が本当に上手になることを学ぶのです。LLM にはセルフプレイに相当するものはありません。たとえば、LLM が別の LLM が解決を学習している大量の問題を作成できないのはなぜですか?その後、LLM は常にますます難しい問題に対処しようとしています。」 私はカルパシーに、なぜLLMがまだ人間のように文化を構築できないのか尋ねました。 > 「愚かなモデルは幼稚園生に非常に似ています。 [最も賢いモデルは]まだ小学生のように感じますが。どういうわけか、私たちはまだ[これらのモデル]が引き継ぐことができる十分な段階に達していません。私のクロードコードやコーデックス、彼らはまだこの小学生のように感じます。博士号のクイズに答えることはできますが、認知的には幼稚園のように感じられます。」 > 「彼らはまだ子供なので、文化を創造できるとは思えません。彼らは賢明な子供たちです。彼らは完璧な記憶力を持っています。彼らは、本当に見栄えの良いあらゆる種類のスロップを説得力を持って作成できます。しかし、彼らは自分たちが何をしているのか本当にわからないと思います。彼らは、私たちがまだ収集しなければならないこれらすべての小さなチェックボックスに対する認識を実際には持っていません。」