1/10🧵 @nousresearch недавно опубликовали интересное исследование, показывающее, что открытые модели используют на 2-3 раза больше токенов, чем закрытые модели для задач рассуждения. Мы проверили, может ли динамическое распределение токенов помочь решить эту проблему эффективности. Вот что мы узнали 👇
Nous Research
Nous Research15 авг., 04:30
Измерение эффективности мышления в моделях рассуждения: недостающий эталон Мы измерили использование токенов в моделях рассуждения: открытые модели выдают на 1,5-4 раза больше токенов, чем закрытые модели при выполнении одинаковых задач, но с огромной вариацией в зависимости от типа задачи (до 10 раз на простых вопросах). Эта скрытая стоимость часто нивелирует преимущества ценообразования за токены. Эффективность токенов должна стать основной целью наряду с эталонами точности, особенно учитывая случаи использования, не связанные с рассуждением. Читать подробный обзор эффективности рассуждений в открытых и закрытых моделях в нашем последнем блоге в сотрудничестве с нашим исследователем на месте, Тимом. Смотрите больше их работ здесь:
7,96K