Představujeme 'gpt-oss Pro Mode'! V podstatě o3 Pro, ale pro nové modely OpenAI s otevřeným zdrojovým kódem :) Režim Pro Mode spojuje dohromady až 10 instancí nového modelu OpenAI GPT-OSS, což mu umožňuje vytvořit lepší odpověď, než by mohla vytvořit jedna instance sama! Open source, odkaz zde:

Na Macbooku M4 Max GPT-OSS 120B: 48 tok/s vysoká 35 tok/s normální 23 tok/s nízká spotřeba Velmi pěkné výstupy, nový model dle výběru

Hlasový agent poháněný gpt-oss. Běží lokálně na mém macBooku. Demo nahrané ve Waymo s vypnutou WiFi. Pořád jsem na své vesmírné hře s umělou inteligencí, samozřejmě. Odkaz na kód níže. U konverzační hlasové umělé inteligence chcete nastavit chování uvažování gpt-oss na "nízké". (Výchozí je "střední".) Poznámky k tomu, jak to udělat, a šablona jinja, kterou můžete použít, jsou v repozitáři. LLM v ukázkovém videu je velká, 120B verze gpt-oss. K tomu můžete samozřejmě použít menší, 20B model. Ale OpenAI zde opravdu udělala skvělou věc, když navrhla model 120B tak, aby běžel na "pouhých" 80 GB VRAM. A odvozování llama.cpp mlx je rychlé: ~250 ms TTFT. Spuštění velkého modelu na zařízení mi připadá jako časová smyčka do budoucnosti umělé inteligence.

Chatovací aplikace OpenAI GPT-OSS s uživatelským rozhraním Thinking-UI (100% místní):

Je to jen něco málo přes 19 hodin, co OpenAI konečně upustila od gpt-oss, plně open source modelu. A lidé už jsou šíleně kreativní a mají s tím výsledky. 10 divokých příkladů: