Il confronto delle prestazioni tra Google TPU v6e, AMD MI300X e NVIDIA H100/B200 è stato pubblicato! I benchmark hardware di Artificial Analysis mostrano che NVIDIA è in testa per quanto riguarda il costo di inferenza: il numero di token per dollaro è 5 volte quello del TPU v6e e 2 volte quello dell'AMD. A una velocità di riferimento di 30 token/secondo, il costo per milione di token dell'NVIDIA H100 è di soli $1.06, mentre il MI300X è di $2.24 e il TPU v6e arriva a $5.13. Il TPU v7 sarà presto rilasciato, con un grande balzo nelle prestazioni, ma il prezzo è sconosciuto.

Risultati dettagliati dei test di carico del sistema di Analisi Artificiale su come le prestazioni si espandono con la concorrenza.