SambaNovaハードウェアベンチマーク:Artificial Analysisのハードウェアベンチマーキングでは、SambaNovaのSN40L RDU上でDeepSeek R1が導入され、ほとんどのテストされた並行レベルでNVIDIA H200チップを上回る性能を示しています † テストされたSN40Lシステムは最大256のバッチサイズを処理し、256リクエスト以上でシステムスループットは約4,700トークン/秒に達します † SambaNovaの成果はユーザーあたりの速度で顕著で、低並行レベルではNVIDIAのテストシステムや構成よりもはるかに高い速度に達しました 他の推論加速器テストと同様に、私たちはArtificial Analysis System Load Testを用いて、さまざまな同時処理レベルにわたるシステムスループットを測定します。並行性および速度レベルの完全な結果は、人工解析ハードウェアベンチマーキングページでご覧いただけます これらの結果は、最大スループットと最小レイテンシ構成を組み合わせ、並行性が増加するにつれて最適なパフォーマンスを実現しており、これはNVIDIAのB200システムのテストと同様です 近いうちにSambaNovaハードウェアの追加モデルでのテストを評価し、公開する予定です。

SambaNovaのシステムは、ユーザーごとのクエリ速度で特に優れており、シングルユーザー作業で最大出力速度は1秒あたり269トークンです。これはDeepSeek R1で測定した最高速度であり、TensorRT-LLMを使用したNVIDIA B200のピーク出力速度の>倍です