"Я думав, що тонке налаштування трансформаторів GPT-OSS MoE зламалося, як ви його змусили працювати?"

розібралися, як "скасувати" RL і перетворити gpt-oss назад в базову модель завтра скине тягарі грн.

Добре, потрібна допомога! спробував тонке налаштування GPT-OSS на вихідних. він працює на ~100 кроків, потім видає помилку CUDA без пам'яті Я припускаю, що час від часу всі токени перенаправляються одному експерту. Потім тренування завершує роботу. Чи є просте рішення? ніколи раніше не допрацьовував МОН

Яку модель робити далі?

Вас цікавлять тренувальні дані нових моделей GPT-oss від OpenAI? Я теж був. тому я згенерував 10 мільйонів прикладів з GPT-OSS-20b, провів деякий аналіз, і результати були... досить дивно Час для глибокого занурення 🧵

Найкоротше пояснення GPT-5: це саме те, що передбачали закони масштабування! Модель краща, віддача зменшується, і, на жаль, абсолютні покращення загального інтелекту стануть лише меншими Хороша новина полягає в тому, що попереду ще так багато роботи. Особистість, міркування, пам'ять і творчі здібності все ще залишаються відкритими проблемами

Саме час нагадати всім, що високий результат на SWEbench насправді лише вказує на те, що тренувальні дані містили досить велику частку Django

найбільш вражаючою частиною GPT-5 є стрибок у довгому контексті Як ви взагалі це робите? виробляти якісь дивні синтетичні дані на далекі відстані? Відсканувати багато книг?

світ венчурного капіталу надає багато цінності, але іноді здається, що вони просто підпалюють гроші. кілька стартапів, які я знаю, зібрали ~100 мільйонів загалом три роки тому, щоб зробити штучний інтелект, створили програмне забезпечення, яким ніхто ніколи не користувався, а тепер усі вони працюють в інших місцях над не пов'язаними між собою речами. Куди пішли всі ці гроші?

Дивно в епоху соціальних мереж відчувати, що всі працюють над оглядами та спростуваннями NeurIPS, але ніхто не говорить про це публічно. Я зробив свій внесок у три спростування. Один з трьох був надзвичайно розчарований. Хто ще працює над спростуваннями? Як справи у вас?