SambaNova donanım kıyaslaması: Artificial Analysis'in Donanım Kıyaslaması artık SambaNova'nın SN40L RDU'sunda DeepSeek R1'i içeriyor ve çoğu test edilen eşzamanlılık seviyelerinde NVIDIA H200 çiplerine kıyasla daha iyi performans gösteriyor ➤ Test edilen SN40L sistemi, 256'ya kadar parti boyutlarını işliyor ve 256 eşzamanlı istekte saniyede ~4.700 token sistem veri kapasitesine ulaşıyor ➤ SambaNova'nın sonuçları kullanıcı başına hızlarda çarpıcıydı; test edilen NVIDIA sistemlerimiz ve konfigürasyonlarımızdan düşük eşzamanlı seviyelerde çok daha yüksek hızlara ulaştı ➤ Diğer çıkarım hızlandırıcı testlerimizde olduğu gibi, sistem verimliliği için çeşitli eşzamanlı seviyelerde Yapay Analiz Sistem Yük Testi kullanıyoruz. Çeşitli eşzamanlılık ve hız seviyeleri boyunca tam sonuçlar, Yapay Analiz Donanım Kıyaslama sayfasında mevcuttur ➤ Bu sonuçlar, eşzamanlılık arttıkça optimum performans sağlamak için maksimum veri verimliliği ve minimum gecikme yapılandırmalarını birleştirerek NVIDIA'nın B200 sistemlerindeki testlere benzer şekilde Yakında SambaNova donanımının ek modellerdeki testlerini değerlendirip yayımlayacağız.

SambaNova'nın sistemi, tek kullanıcı iş yüklerinde saniyede 269 token çıkar hızına sahip olan kullanıcı başına sorgulama hızında özellikle iyi performans sergiliyor. Bu, DeepSeek R1'de ölçtüğümüz en yüksek hızdır ve TensorRT-LLM ile NVIDIA B200'ün maksimum çıkış hızının 3 katı >