"Одна из самых запутанных вещей в моделях сейчас: как примирить тот факт, что они так хорошо справляются с оценками. И ты смотришь на оценки и думаешь: 'Это довольно сложные оценки.' Но экономическое воздействие, похоже, значительно отстает. Есть [возможное] объяснение. Когда люди занимались предварительным обучением, вопрос о том, на каких данных тренироваться, был решен, потому что ответ был - на всех данных. Так что не нужно думать, будут ли это данные или другие данные. Когда люди занимаются обучением с подкреплением, они говорят: 'Хорошо, мы хотим иметь такой вид обучения с подкреплением для этой задачи и такой вид обучения с подкреплением для той задачи.' Ты говоришь: 'Эй, мне бы хотелось, чтобы наша модель действительно хорошо работала, когда мы ее выпустим. Я хочу, чтобы оценки выглядели отлично. Какое обучение с подкреплением могло бы помочь в этой задаче?' Если объединить это с тем, что обобщение моделей на самом деле оказывается недостаточным, это может объяснить многое из того, что мы видим, этот разрыв между производительностью по оценкам и фактической производительностью в реальном мире"

«Компаний больше, чем идей, довольно значительно. Вычислительных мощностей достаточно, чтобы не было очевидно, что вам нужно гораздо больше вычислений, чтобы доказать какую-то идею. AlexNet был построен на 2 GPU. Трансформер был построен на 8 до 64 GPU. Что бы это было, 2 GPU на сегодняшний день? Можно утверждать, что o1-рассуждение не было самым вычислительно тяжелым в мире. Для исследований вам определенно нужно какое-то количество вычислений, но далеко не очевидно, что вам нужно абсолютно максимальное количество вычислений. Если все находятся в одной парадигме, то вычисления становятся одним из больших отличий.» @ilyasut

“С 2012 по 2020 год это была эпоха исследований. С 2020 по 2025 год это была эпоха масштабирования. Существует ли вера в то, что если вы просто увеличите масштаб в 100 раз, все изменится? Я не думаю, что это правда. Это снова возвращение к эпохе исследований, только с большими компьютерами.” @ilyasut