Google TPU v6e vs AMD MI300X vs NVIDIA H100/B200: Analiza sprzętowa Artificial Analysis pokazuje, że NVIDIA osiąga przewagę ~5x w tokenach na dolara w porównaniu do TPU v6e (Trillium) oraz ~2x przewagę nad MI300X w naszym kluczowym wskaźniku kosztów wnioskowania. W naszym wskaźniku kosztów wnioskowania, zwanym Koszt na Milion Tokenów Wejściowych i Wyjściowych przy Referencyjnej Prędkości, widzimy, że systemy NVIDIA H100 i B200 osiągają niższy całkowity koszt niż TPU v6e i MI300X. Dla Llama 3.3 70B działającego z vLLM przy Referencyjnej Prędkości na Zapytanie wynoszącej 30 tokenów wyjściowych/s, NVIDIA H100 osiąga Koszt na Milion Tokenów Wejściowych i Wyjściowych wynoszący 1,06 USD, w porównaniu do MI300X przy 2,24 USD i TPU v6e przy 5,13 USD. Ta analiza opiera się na wynikach Testu Obciążenia Systemu Artificial Analysis dla przepustowości wnioskowania systemu w różnych poziomach współbieżności oraz danych o cenach instancji GPU, które zbieramy od różnych dostawców chmury GPU. „Koszt na Milion Tokenów Wejściowych i Wyjściowych przy Referencyjnej Prędkości” wykorzystuje przepustowość systemu, którą system może osiągnąć, utrzymując 30 tokenów wyjściowych na sekundę na zapytanie, i dzieli koszt wynajmu systemu przez tę przepustowość (przeskalowaną do miliona tokenów). Pełne wyniki w różnych poziomach współbieżności i prędkości są dostępne na stronie Benchmarking Sprzętowy Artificial Analysis. Ważny kontekst: ➤ Raportujemy wyniki tylko dla TPU v6e działającego z Llama 3.3 70B, ponieważ jest to jedyny model na naszej stronie sprzętowej, dla którego vLLM na TPU jest oficjalnie wspierane. Raportujemy wyniki dla systemów NVIDIA Hopper i Blackwell, a teraz także dla AMD MI300X, dla wszystkich czterech modeli na naszej stronie sprzętowej: gpt-oss-120b, Llama 4 Maverick, DeepSeek R1 i Llama 3.3 70B. ➤ Te wyniki opierają się na tym, co firmy mogą obecnie wynajmować w chmurze - następnej generacji akceleratory MI355X i TPU v7 nie są jeszcze szeroko dostępne. Bierzemy najniższą cenę z zestawu referencyjnego dostawców chmury GPU. TPU v6e jest wyceniane na żądanie na 2,70 USD za chip na godzinę, co jest tańsze niż nasza najniższa zarejestrowana cena dla NVIDIA B200 (5,50 USD za godzinę), ale podobne do NVIDIA H100 (2,70 USD za godzinę) i AMD MI300X (2 USD za godzinę). ➤ TPU v7 (Ironwood) Google'a staje się ogólnie dostępne w nadchodzących tygodniach. Spodziewamy się, że TPU v7 znacznie przewyższy v6e, biorąc pod uwagę skoki w obliczeniach (918 TFLOPS do 4 614 TFLOPS), pamięci (32 GB do 192 GB) i przepustowości pamięci (1,6 TB/s do 7,4 TB/s). Jednak nie wiemy jeszcze, ile Google będzie pobierać za te instancje - więc wpływ na sugerowane koszty na tokeny nie jest jeszcze jasny. ➤ Nasz wskaźnik Koszt na Milion Tokenów Wejściowych i Wyjściowych nie może być bezpośrednio porównywany z cenami API bezserwerowego. Całkowity sugerowany koszt na milion tokenów dla danego wdrożenia jest uzależniony od prędkości na zapytanie, którą chcesz osiągnąć (napędzanej przez rozmiar partii/współbieżność) oraz stosunku tokenów wejściowych do wyjściowych. ➤ Te wyniki dotyczą wszystkich systemów z 8 akceleratorami - tj. 8xH100, 8xB200, 8xTPU v6e, 8xMI300X. Ostatnio opublikowaliśmy również zaktualizowane wyniki Blackwell - więcej analiz wkrótce.

Google TPU v6e vs AMI MI300X vs NVIDIA H100/B200: Analiza sprzętowa Artificial Analysis pokazuje, że NVIDIA osiąga przewagę około 5x w tokenach na dolara w porównaniu do TPU v6e (Trillium) oraz około 2x przewagę nad MI300X w naszym kluczowym wskaźniku kosztów wnioskowania. W naszym wskaźniku kosztów wnioskowania, zwanym Koszt na Milion Tokenów Wejściowych i Wyjściowych przy Referencyjnej Prędkości, widzimy, że systemy NVIDIA H100 i B200 osiągają niższy całkowity koszt niż TPU v6e i MI300X. Dla Llama 3.3 70B przy Referencyjnej Prędkości na Zapytanie wynoszącej 30 tokenów wyjściowych/s, NVIDIA H100 osiąga Koszt na Milion Tokenów Wejściowych i Wyjściowych wynoszący 1,06 USD, w porównaniu do MI300X wynoszącego 2,24 USD i TPU v6e wynoszącego 5,13 USD. Ta analiza opiera się na wynikach Testu Obciążenia Systemu Artificial Analysis dla przepustowości wnioskowania systemu w różnych poziomach współbieżności oraz danych o cenach instancji GPU, które zbieramy od różnych dostawców chmury GPU. „Koszt na Milion Tokenów Wejściowych i Wyjściowych przy Referencyjnej Prędkości” wykorzystuje przepustowość systemu, którą systemy mogą osiągnąć, utrzymując 30 tokenów wyjściowych na sekundę na zapytanie, i dzieli ją przez koszt wynajmu systemu. Pełne wyniki w różnych poziomach współbieżności i prędkości są dostępne na stronie Benchmarking Sprzętowy Artificial Analysis. Ważny kontekst: ➤ Te wyniki opierają się na tym, co firmy mogą obecnie wynajmować w chmurze - następna generacja akceleratorów MI355X i TPU v7 nie jest jeszcze szeroko dostępna. Bierzemy najniższą cenę z zestawu referencyjnego dostawców chmury GPU. TPU v6e jest wyceniane na żądanie na 2,70 USD za chip na godzinę, co jest tańsze niż nasza najniższa zarejestrowana cena dla NVIDIA B200 (5,50 USD za godzinę), ale podobne do NVIDIA H100 (2,70 USD za godzinę) i AMD MI300X (2 USD za godzinę). ➤ TPU v7 (Ironwood) od Google staje się ogólnie dostępne w nadchodzących tygodniach. Spodziewamy się, że TPU v7 znacznie przewyższy v6e, biorąc pod uwagę skoki w obliczeniach (918 TFLOPS do 4 614 TFLOPS), pamięci (32 GB do 192 GB) i przepustowości pamięci (1,6 TB/s do 7,4 TB/s). Jednak nie wiemy jeszcze, ile Google będzie pobierać za te instancje - więc wpływ na sugerowane koszty na tokeny nie jest jeszcze jasny. ➤ Nasz wskaźnik Koszt na Milion Tokenów Wejściowych i Wyjściowych nie może być bezpośrednio porównywany z cenami API bezserwerowego. Całkowity sugerowany koszt na milion tokenów dla danego wdrożenia jest uzależniony od prędkości na zapytanie, którą chcesz osiągnąć (napędzanej przez rozmiar partii/współbieżność) oraz stosunku tokenów wejściowych do wyjściowych. ➤ Raportujemy tylko wyniki dla TPU v6e działającego na Llama 3.3 70B, ponieważ jest to jedyny model pokazany na naszej stronie sprzętowej, który jest również oficjalnie wspierany dla vLLM na TPU. Raportujemy wyniki dla systemów NVIDIA Hopper i Blackwell, a teraz także dla AMD MI300X, w ramach wszystkich czterech modeli na naszej stronie sprzętowej: gpt-oss-120b, Llama 4 Maverick, DeepSeek R1 i Llama 3.3 70B. ➤ Te wyniki dotyczą wszystkich systemów z 8 akceleratorami - tj. 8xH100, 8xB200, 8xTPU v6e, 8xMI300X. Ostatnio opublikowaliśmy również zaktualizowane wyniki Blackwell - więcej analiz wkrótce.

Czym jest Whisper Thunder? 👀👀👀