Порівняння продуктивності TPU v6e, AMD MI300X і NVIDIA H100/B200 вже доступно! Бенчмарки апаратного забезпечення Artificial Analysis показують, що Nvidia випереджає за вартістю виведення: у 5 разів більше токенів на долар — це в 5 разів більше, ніж у TPU v6e, і вдвічі більше, ніж у AMD. За еталонною ставкою 30 токенів на секунду NVIDIA H100 коштує лише $1,06 за мільйон токенів, порівняно з $2,24 у MI300X і до $5,13 для TPU v6e. TPU v7 ось-ось вийде, що є великим стрибком у продуктивності, але ціна невідома.

Детальні результати тестування навантаження системи штучного аналізу з паралельним масштабуванням.