Memperkenalkan 'Gpt-OSS Pro Mode'! Pada dasarnya o3 Pro, tetapi untuk model open source OpenAI baru :) Mode Pro merangkai hingga 10 instance model OpenAI GPT-OSS baru, memungkinkannya menghasilkan jawaban yang lebih baik daripada yang dapat dibuat oleh satu instance saja! Sumber terbuka, tautan di sini:

Di Macbook M4 Max GPT-OSS 120B: Tinggi 48 tok/s 35 tok/dtk normal 23 tok/dtk daya rendah Output yang sangat bagus, model pilihan baru

Agen suara yang didukung oleh gpt-oss. Berjalan secara lokal di macBook saya. Demo direkam di Waymo dengan WiFi dimatikan. Saya masih menggunakan tendangan AI suara game luar angkasa saya, jelas. Tautan kode di bawah ini. Untuk AI suara percakapan, Anda ingin mengatur perilaku penalaran gpt-oss ke "rendah". (Defaultnya adalah "medium".) Catatan tentang cara melakukannya dan template jinja yang dapat Anda gunakan ada di repo. LLM dalam video demo adalah versi 120B besar dari gpt-oss. Anda dapat menggunakan model 20B yang lebih kecil untuk ini, tentu saja. Tapi OpenAI benar-benar melakukan hal yang keren di sini merancang model 120B untuk berjalan dalam "hanya" 80GB VRAM. Dan kesimpulan mlx llama.cpp cepat: ~250ms TTFT. Menjalankan model besar di perangkat terasa seperti melengkung waktu ke masa depan AI.

Aplikasi obrolan OpenAI GPT-OSS dengan Thinking-UI (100% lokal):

Baru lebih dari 19 jam sejak OpenAI menjatuhkan gpt-oss, model sumber terbuka penuh akhirnya. Dan orang-orang sudah menjadi kreatif dan hasil yang luar biasa dengannya. 10 contoh liar: