Benchmarking perangkat keras SambaNova: Benchmarking Perangkat Keras Analisis Buatan sekarang menyertakan DeepSeek R1 pada RDU SN40L SambaNova, menunjukkan kinerja yang lebih baik dibandingkan dengan chip NVIDIA H200 di sebagian besar tingkat konkurensi yang diuji ➤ Sistem SN40L yang diuji menangani ukuran batch hingga 256, mencapai throughput sistem ~4.700 token per detik pada dan di luar 256 permintaan bersamaan ➤ Hasil SambaNova mencolok pada kecepatan per pengguna, mencapai kecepatan yang jauh lebih tinggi pada tingkat konkurensi rendah daripada sistem dan konfigurasi NVIDIA kami yang telah diuji ➤ Seperti pengujian akselerator inferensi kami yang lain, kami menggunakan Uji Beban Sistem Analisis Buatan untuk throughput sistem di berbagai tingkat konkurensi. Hasil lengkap di berbagai tingkat konkurensi dan kecepatan tersedia di halaman Benchmarking Perangkat Keras Analisis Buatan ➤ Hasil ini menggabungkan konfigurasi throughput maksimum dan latensi minimum untuk menghasilkan kinerja optimal seiring dengan peningkatan konkurensi, mirip dengan pengujian kami terhadap sistem B200 NVIDIA Kami akan segera mengevaluasi dan menerbitkan pengujian perangkat keras SambaNova pada model tambahan.

Sistem SambaNova berkinerja sangat baik pada kecepatan kueri per pengguna, dengan kecepatan output puncak 269 token per detik untuk beban kerja pengguna tunggal. Ini adalah kecepatan tertinggi yang kami ukur pada DeepSeek R1, dan >3x kecepatan keluaran puncak NVIDIA B200 menggunakan TensorRT-LLM