So sánh hiệu suất giữa Google TPU v6e, AMD MI300X và NVIDIA H100/B200 đã được công bố! Phân tích nhân tạo cho thấy, NVIDIA dẫn đầu về chi phí suy diễn: số lượng token trên mỗi đô la là gấp 5 lần TPU v6e và gấp 2 lần AMD. Tại tốc độ tham chiếu 30 token/giây, chi phí mỗi triệu token của NVIDIA H100 chỉ là 1,06 đô la, trong khi MI300X là 2,24 đô la, và TPU v6e lên tới 5,13 đô la. TPU v7 sắp ra mắt, với sự cải tiến lớn về hiệu suất, nhưng giá cả vẫn chưa được biết.

Kết quả chi tiết về cách mà thử nghiệm tải của hệ thống Phân tích Nhân tạo thực hiện kiểm tra hiệu suất khi mở rộng đồng thời.