Сравнение производительности Google TPU v6e, AMD MI300X и NVIDIA H100/B200 опубликовано! Тестирование аппаратного обеспечения Artificial Analysis показывает, что NVIDIA лидирует по стоимости вывода: количество токенов за доллар в 5 раз больше, чем у TPU v6e, и в 2 раза больше, чем у AMD. При эталонной скорости 30 токенов/секунда NVIDIA H100 стоит всего $1.06 за миллион токенов, в то время как MI300X — $2.24, а TPU v6e — целых $5.13. TPU v7 скоро будет выпущен, ожидается значительный прирост производительности, но цена пока неизвестна.

Подробные результаты бенчмаркинга, как нагрузочные тесты системы Artificial Analysis влияют на производительность при увеличении параллелизма.