Gemma 3 270m 4-бітний DWQ працює. Та ж швидкість, та ж пам'ять, набагато краща якість:
Awni Hannun
Awni Hannun15 серп., 02:01
Gemma 3 270m 4-bit generates text at over 650 (!) tok/sec on an M4 Max with mlx-lm and uses < 200MB: Not sped up:
28,74K