Benchmarking de hardware do SambaNova: O benchmarking de hardware da Artificial Analysis agora inclui o DeepSeek R1 na RDU SN40L da SambaNova, mostrando desempenho superior em comparação com chips NVIDIA H200 na maioria dos níveis de concorrência testados ➤ O sistema SN40L testado lida com tamanhos de lote de até 256, alcançando throughput do sistema de ~4.700 tokens por segundo em e além de 256 requisições simultâneas ➤ Os resultados do SambaNova foram impressionantes em velocidades por usuário, alcançando velocidades substancialmente maiores em baixos níveis de concorrência do que nossos sistemas e configurações NVIDIA testados ➤ Assim como em nossos outros testes aceleradores de inferência, usamos o Teste de Carga do Sistema de Análise Artificial para throughput do sistema em uma variedade de níveis de concorrência. Resultados completos em uma variedade de níveis de concorrência e velocidade estão disponíveis na página de Benchmarking de Hardware de Análise Artificial ➤ Esses resultados combinam configurações de máximo throughput e latência mínima para produzir desempenho ótimo à medida que a concorrência aumenta, de forma semelhante aos nossos testes dos sistemas B200 da NVIDIA Em breve estaremos avaliando e publicando testes do hardware SambaNova em modelos adicionais.

O sistema da SambaNova tem desempenho particularmente bom na velocidade de consulta por usuário, com velocidade máxima de saída de 269 tokens por segundo para cargas de trabalho de usuário único. Essa é a maior velocidade que medimos no DeepSeek R1, e > 3 vezes a velocidade máxima de saída do NVIDIA B200 usando o TensorRT-LLM