Benchmarking hardware SambaNova: Benchmarking-ul hardware al Artificial Analysis include acum DeepSeek R1 pe SN40L RDU de la SambaNova, arătând performanțe superioare față de cipurile NVIDIA H200 la majoritatea nivelurilor de concurență testate ➤ Sistemul SN40L testat gestionează dimensiuni de loturi de până la 256, atingând un debit de sistem de ~4.700 de tokenuri pe secundă la și peste 256 de cereri simultane ➤ Rezultatele SambaNova au fost remarcabile privind viteza per utilizator, atingând viteze mult mai mari la niveluri scăzute de concurență decât sistemele și configurațiile NVIDIA testate ➤ Ca și în cazul celorlalte teste accelerate de inferență, folosim Testul de Încărcare al Sistemului de Analiză Artificială pentru throughput de sistem pe o gamă largă de niveluri de concurență. Rezultatele complete pe o gamă largă de niveluri de concurență și viteză sunt disponibile pe pagina Artificial Analysis Hardware Benchmarking ➤ Aceste rezultate combină configurații cu debit maxim și latență minimă pentru a produce performanțe optime pe măsură ce concurența crește, similar testării noastre pentru sistemele NVIDIA B200 Vom evalua și publica în curând teste ale hardware-ului SambaNova pe modele suplimentare.

Sistemul SambaNova performează deosebit de bine la viteza de interogare per utilizator, cu o viteză maximă de ieșire de 269 jetoane pe secundă pentru sarcinile de lucru cu un singur utilizator. Aceasta este cea mai mare viteză pe care am măsurat-o pe DeepSeek R1 și de >3 ori viteza maximă de ieșire a NVIDIA B200 folosind TensorRT-LLM