SambaNova 硬件基准测试：Artificial Analysis 的硬件基准测试现在包括在 SambaNova 的 SN40L RDU 上的 DeepSeek R1，显示出在大多数测试的并发级别上优于 NVIDIA H200 芯片 ➤ 测试的 SN40L 系统处理的批量大小高达 256，在 256 个并发请求及以上时，系统吞吐量达到 ~4,700 个令牌每秒 ➤ SambaNova 的结果在每用户速度上非常显著，在低并发级别时达到的速度远高于我们测试的 NVIDIA 系统和配置 ➤ 与我们其他推理加速器测试一样，我们使用 Artificial Analysis 系统负载测试来评估在不同并发级别下的系统吞吐量。关于不同并发和速度级别的完整结果可在 Artificial Analysis 硬件基准测试页面上找到 ➤ 这些结果结合了最大吞吐量和最小延迟配置，以在并发增加时产生最佳性能，类似于我们对 NVIDIA B200 系统的测试 我们将很快评估并发布对 SambaNova 硬件其他型号的测试结果。

SambaNova 的系统在每用户查询速度方面表现尤为出色，单用户工作负载的峰值输出速度为每秒 269 个标记。这是我们在 DeepSeek R1 上测得的最高速度，超过 NVIDIA B200 使用 TensorRT-LLM 的峰值输出速度的 3 倍以上。