.@karpathy каже, що LLM в даний час не вистачає культурного накопичення і самогри, які виштовхнули людей з савани: Культура: > «Чому LLM не може написати книгу для інших LLM? Чому інші LLM не можуть прочитати цю книгу і надихнутися нею, або бути шокованими нею?» Самостійна гра: > «Це надзвичайно потужно. Еволюція має багато конкуренції, яка рухає інтелект та еволюцію. AlphaGo грає проти самої себе, і саме так вона вчиться бути дійсно хорошою в Го. У LLM немає еквівалента самостійної гри. Чому LLM, наприклад, не може створити купу проблем, які інший LLM вчиться вирішувати? Тоді LLM завжди намагається обслуговувати все більш і більш складні проблеми». Я запитав у «Карпат», чому ЛЛМ досі не здатні будувати культуру так, як це роблять люди. > «Більш тупі моделі дивно нагадують вихованця дитячого садка. [Найрозумніші моделі все ще відчувають себе] учнями початкових класів. Якимось чином ми все ще недостатньо закінчили там, де [ці моделі] можуть взяти гору. Мій Клод Код або Кодекс, вони все ще відчувають себе цим учнем початкових класів. Я знаю, що вони можуть проходити тести на ступінь доктора філософії, але вони все одно когнітивно відчувають себе як у дитячому садку». > «Я не думаю, що вони можуть створювати культуру, тому що вони ще діти. Вони розумні діти. У них прекрасна пам'ять. Вони можуть переконливо створювати всілякі неохайності, які виглядають дійсно добре. Але я все ще думаю, що вони насправді не знають, що роблять. Вони насправді не мають розуміння всіх цих маленьких пунктів, які нам ще потрібно зібрати».