Kami mengirimkan Gemma 3 27B pada bulan Maret, dan tetap menjadi pilihan utama untuk GPU konsumen. Ini memiliki kemampuan multimoda yang solid, QAT untuk membuka kuantisasi yang kuat, dan ukurannya ramah pengembang. Dan kami memiliki lebih banyak di oven 🧑 🍳
Kim BENNI
Kim BENNI14 Agu, 01.55
Kuncinya adalah bahwa di antara 10 model teratas tersebut, Gemma dan Mistral Small dari Google adalah satu-satunya yang dapat muat/berjalan pada perangkat keras konsumen. Satu RTX 4090 sudah cukup. Semua model lainnya memiliki parameter >100b dan membutuhkan perangkat keras profesional yang sangat mahal. Ini mengubah perspektif jauh melampaui skor mentah menurut saya.
86,5K