Porównanie wydajności Google TPU v6e, AMD MI300X i NVIDIA H100/B200 zostało opublikowane! Analiza Artificial Analysis pokazuje, że NVIDIA prowadzi w kosztach wnioskowania: liczba tokenów na każdy dolar jest 5 razy wyższa niż w przypadku TPU v6e i 2 razy wyższa niż w przypadku AMD. Przy referencyjnej prędkości 30 tokenów/sekundę, koszt miliona tokenów dla NVIDIA H100 wynosi zaledwie 1,06 USD, podczas gdy MI300X to 2,24 USD, a TPU v6e aż 5,13 USD. TPU v7 wkrótce zostanie wydany, z dużym skokiem wydajności, ale cena jest nieznana.

Szczegółowe wyniki testów obciążeniowych systemu Artificial Analysis dotyczące tego, jak wydajność zmienia się w miarę rozszerzania współbieżności.