Нещодавно 1/10🧵 @nousresearch опублікував цікаве дослідження, яке показало, що відкриті моделі використовують в 2-3 рази більше токенів, ніж закриті моделі для завдань на міркування. Ми перевірили, чи може динамічний розподіл токенів допомогти усунути цю прогалину в ефективності. Що ми дізналися 👇

Вимірювання ефективності мислення в моделях міркувань: відсутній орієнтир Ми виміряли використання токенів у моделях міркувань: відкриті моделі видають у 1,5-4 рази більше токенів, ніж закриті моделі на ідентичні завдання, але з величезною дисперсією залежно від типу завдання (до 10 разів на прості запитання). Ця прихована вартість часто зводить нанівець переваги ціноутворення за токен. Ефективність токенів повинна стати основною метою поряд з контрольними показниками точності, особливо з урахуванням випадків використання, не пов'язаних з обґрунтуванням. Прочитайте детальний огляд ефективності міркувань у відкритому та закритому модельному ландшафті в нашому останньому дописі в блозі у співпраці з нашим дослідником за місцем проживання Тімом. Більше їхніх робіт дивіться тут:

Привіт! kainan_e запросив вас приєднатися до їхньої групи DM. Термін дії запрошення закінчується через 24 години.

Eval оточення Arena-Hard тепер об'єднано з Atropos - насолоджуйтесь масштабованою, гнучкою та сучасною оцінкою за допомогою тесту @lmsysorg arena-hard, який дуже чудово визначає широкий спектр можливостей у моделях. Будьте готові стати середовищем RL, якщо ви візьмете з собою власний потяг, а також :) Дізнайтеся більше на

Наш дослідник у резиденції @yaboilyrical обговорить свою роботу з управління SMC в Каліфорнійському університеті в Берклі 3 серпня. Перегляньте блог про цю роботу тут: Подробиці нижче!

Години роботи офісу Психея починаються за 20 хвилин у нашому Discord - До зустрічі!

Atropos v0.3 вже вийшов! Наш фреймворк RL Environments зазнав багато оновлень, починаючи з версії 0.2 - деякі основні моменти: - Atropos тепер може використовуватися як фреймворк для порівняльного аналізу та оцінок @rogershijin з нашим першим зовнішнім бенчмарком Reward-Bench 2! - Додано Reasoning Gym, репозиторій для тренажерного залу зовнішнього середовища, портований на atropos з більш ніж 100 завданнями на міркування від @neurosp1ke та друзів - @max_paperclips інтегрований буткемп міркувань @intern_lm, додавши 1000+ нових завдань на міркування для RL - @dmayhem93 провідний інженер Atropos додав десятки виправлень помилок та інших покращень надійності та сумісності, кращу підтримку мультиоточення та CI/CD - Багато середовищ хакатону Atropos були об'єднані в /environments/community - перерахування їх усіх зайняло б більшу частину екранного простору, але деякі особливості: VR-CLI від @JakeABoggs, Philosophy RLAIF, Adaptive LLM Teachers, WebVoyager, білковий дизайн від @hallerite, модельне середовище маршрутизації від @gabinfay, множинне на lean proving, The Catbot Arena, Pokemon Showdown, покер, корисні лікарі, санскритська поезія від @khoomeik та багато іншого! - Інші помітні офіційно підтримувані нові середовища включають: Формат відповідей за оточенням Середовище Pydantic на JSON портовано з @MatternJustus роботи Інструкція Наступне перенесено з @natolambert та роботи @allen_ai Підрахунок букв - 47 нових дописувачів! Ознайомтеся з повним журналом змін тут:

Набір даних Hermes 3, альтернативна ст.

Хороші технології породжують дослідження та дива.

Інструменти з відкритим вихідним кодом для вирішення людських завдань.