每秒 16k 个令牌！🤯 我一辈子从未见过这么多令牌！！！ > 来自 Prime 的 nvidia B200 > 来自 Arcee 的 trinity mini (26b, moe) > 由 vllm (0.13) 提供服务，具有 8 个张量并行处理 > 医疗 SYNTH 数据集生成管道 > ~350 请求/秒 > ~16k 每秒！！！ 真是太棒了！