SambaNova 硬體基準測試：Artificial Analysis 的硬體基準測試現在包括在 SambaNova 的 SN40L RDU 上的 DeepSeek R1，顯示出在大多數測試的併發級別上超越 NVIDIA H200 晶片的表現 ➤ 測試的 SN40L 系統處理的批次大小高達 256，達到系統吞吐量約 4,700 個標記每秒，並在 256 個併發請求以上也能保持此吞吐量 ➤ SambaNova 的結果在每位用戶的速度上非常驚人，在低併發級別下達到的速度顯著高於我們測試的 NVIDIA 系統和配置 ➤ 與我們其他推理加速器測試一樣，我們使用 Artificial Analysis 系統負載測試來測量在不同併發級別下的系統吞吐量。關於不同併發和速度級別的完整結果可在 Artificial Analysis 硬體基準測試頁面上找到 ➤ 這些結果結合了最大吞吐量和最小延遲配置，以在併發增加時產生最佳性能，這與我們對 NVIDIA B200 系統的測試類似 我們將很快評估並發布對 SambaNova 硬體其他型號的測試。

SambaNova 的系統在每位用戶的查詢速度上表現特別出色，單用戶工作負載的峰值輸出速度為每秒 269 個標記。這是我們在 DeepSeek R1 上測量的最高速度，並且是使用 TensorRT-LLM 的 NVIDIA B200 峰值輸出速度的 >3 倍。