Att använda den nya MLX-server_benchmark för kontinuerlig batchning för att lokalt driva MiniMax M2.1 på M3 Ultra. 4-bitars: 1 begäran: 48 t/s 32 förfrågningar: 220 t/s 🔥 8-bit: 1 begäran: 36 t/s 32 förfrågningar: 150 ton per sekund 🔥