Mengukur Efisiensi Berpikir dalam Model Penalaran: Tolok Ukur yang Hilang Kami mengukur penggunaan token di seluruh model penalaran: model terbuka menghasilkan 1,5-4x lebih banyak token daripada model tertutup pada tugas yang identik, tetapi dengan variasi besar tergantung pada jenis tugas (hingga 10x pada pertanyaan sederhana). Biaya tersembunyi ini sering kali meniadakan keuntungan harga per token. Efisiensi token harus menjadi target utama di samping tolok ukur akurasi, terutama mengingat kasus penggunaan non-penalaran. Baca tinjauan menyeluruh tentang efisiensi penalaran di seluruh lanskap model terbuka dan tertutup di posting blog terbaru kami bekerja sama dengan peneliti kami, Tim. Lihat lebih banyak karya mereka di sini:

Hai! kainan_e mengundang Anda untuk bergabung dengan DM grup mereka. Undangan kedaluwarsa dalam 24 jam.

Lingkungan eval Arena-Hard sekarang digabungkan ke Atropos - nikmati evaluasi yang dapat diskalakan, fleksibel, dan modern dengan tolok ukur arena-hard @lmsysorg yang sangat bagus dalam menentukan berbagai kemampuan dalam model. Siap menjadi lingkungan RL jika Anda membawa set kereta sendiri juga :) Pelajari lebih lanjut di

Peneliti kami di Residensi @yaboilyrical akan membahas karyanya tentang kemudi SMC di UC Berkeley pada 3 Agustus. Lihat blog tentang karya ini di sini: Detail di bawah ini!

Jam kantor Psyche dimulai dalam 20 menit di Discord kami - Sampai jumpa di sana!

Atropos v0.3 sekarang keluar! Kerangka kerja Lingkungan RL kami telah melihat banyak peningkatan sejak v0.2 - beberapa sorotan: - Atropos sekarang dapat digunakan sebagai kerangka kerja pembandingan dan evaluasi oleh @rogershijin, dengan tolok ukur eksternal pertama kami, Reward-Bench 2! - Menambahkan Reasoning Gym, repo gym lingkungan eksternal yang dipindahkan ke atropos dengan lebih dari 100 tugas penalaran oleh @neurosp1ke dan teman - @max_paperclips bootcamp penalaran @intern_lm terintegrasi, menambahkan 1000+ tugas penalaran baru untuk RL - @dmayhem93 insinyur utama Atropos menambahkan lusinan perbaikan bug dan peningkatan keandalan dan kompatibilitas lainnya, dukungan yang lebih baik untuk multi-lingkungan, dan CI/CD - Banyak lingkungan hackathon Atropos telah digabungkan ke dalam /environments/community - untuk mencantumkan semuanya akan memakan sebagian besar ruang layar, tetapi beberapa sorotan: VR-CLI oleh @JakeABoggs, Filsafat RLAIF, Guru LLM Adaptif, WebVoyager, desain protein oleh @hallerite, lingkungan perutean model oleh @gabinfay, beberapa pembuktian ramping, arena catbot, pertarungan pokemon, poker, dokter yang membantu, puisi sanskerta oleh @khoomeik dan banyak lagi! - Lingkungan baru penting lainnya yang didukung secara resmi meliputi: Format jawaban mengikuti lingkungan Lingkungan Pydantic ke JSON di-porting dari @MatternJustus kerja Instruksi Mengikuti porting dari karya @natolambert dan @allen_ai Penghitungan Huruf - 47 kontributor baru! Lihat changelog lengkapnya di sini:

Himpunan data Hermes 3, seni alternatif.

Teknologi yang baik melahirkan eksplorasi dan keajaiban.

Alat sumber terbuka untuk tantangan manusia.

Sangat menyenangkan bekerja dengan tim @huggingface untuk mewujudkan fitur ini! Terima kasih atas semua pekerjaan dan kreativitas Anda @pcuenq @reach_vb @julien_c @ariG23498! Juga terima kasih kepada @NousResearch @Teknium1 @Euclaise_ karena telah menjadi pengadopsi awal notebook model khusus dan mengerjakannya bersama kami!