SambaNova hardware benchmarking: De Hardware Benchmarking van Artificial Analysis omvat nu DeepSeek R1 op de SN40L RDU van SambaNova, die beter presteert in vergelijking met NVIDIA H200-chips over de meeste geteste gelijktijdigheidsniveaus. ➤ Het geteste SN40L-systeem kan batchgroottes tot 256 aan, met een systeemsnelheid van ~4.700 tokens per seconde bij en boven 256 gelijktijdige verzoeken. ➤ De resultaten van SambaNova waren opvallend op per-gebruiker snelheden, met aanzienlijk hogere snelheden bij lage gelijktijdigheidsniveaus dan onze geteste NVIDIA-systemen en configuraties. ➤ Zoals bij onze andere tests van inferentieversnellers, gebruiken we de Artificial Analysis System Load Test voor systeemsnelheid over een reeks gelijktijdigheidsniveaus. Volledige resultaten over een reeks gelijktijdigheid en snelheidsniveaus zijn beschikbaar op de pagina voor Hardware Benchmarking van Artificial Analysis. ➤ Deze resultaten combineren maximale doorvoer en minimale latentieconfiguraties om optimale prestaties te leveren naarmate de gelijktijdigheid toeneemt, vergelijkbaar met onze tests van de B200-systemen van NVIDIA. We zullen binnenkort tests van SambaNova-hardware op aanvullende modellen evalueren en publiceren.

Het systeem van SambaNova presteert bijzonder goed op de snelheid van gebruikersspecifieke queries, met een piekoutput van 269 tokens per seconde voor workloads van één gebruiker. Dit is de hoogste snelheid die we hebben gemeten op DeepSeek R1, en meer dan 3x de piekoutput van de NVIDIA B200 met TensorRT-LLM