SambaNova maskinvarebenchmarking: Artificial Analysis' maskinvarebenchmarking inkluderer nå DeepSeek R1 på SambaNovas SN40L RDU, noe som viser bedre ytelse sammenlignet med NVIDIA H200-brikker på de fleste testede samtidighetsnivåer ➤ SN40L-systemet som testes håndterer batchstørrelser på opptil 256, og når systemgjennomstrømning på ~4 700 tokens per sekund ved og over 256 samtidige forespørsler ➤ SambaNovas resultater var slående på hastigheter per bruker, og nådde betydelig høyere hastigheter ved lave samtidighetsnivåer enn våre testede NVIDIA-systemer og konfigurasjoner ➤ Som med vår andre inferensakseleratortesting bruker vi Artificial Analysis System Load Test for systemgjennomstrømning over ulike samtidighetsnivåer. Fullstendige resultater på tvers av ulike samtidighets- og hastighetsnivåer er tilgjengelige på siden Artificial Analysis Hardware Benchmarking. ➤ Disse resultatene kombinerer maksimal gjennomstrømning og minimum latenskonfigurasjoner for å oppnå optimal ytelse etter hvert som samtidigheten øker, på samme måte som vår testing av NVIDIAs B200-systemer Vi vil snart evaluere og publisere tester av SambaNova-maskinvare på flere modeller.

SambaNovas system presterer spesielt godt på spørringshastighet per bruker, med en topp utgangshastighet på 269 tokens per sekund for enkeltbrukerarbeidsbelastninger. Dette er den høyeste hastigheten vi har målt på DeepSeek R1, og >3 ganger topputgangshastigheten til NVIDIA B200 ved bruk av TensorRT-LLM