Google TPU v6e vs AMD MI300X vs NVIDIA H100/B200: Artificial Analysis' Hardware Benchmarking viser at NVIDIA oppnår en ~5x fordel i tokens per dollar over TPU v6e (Trillium), og en ~2x fordel over MI300X, i vår nøkkel-inferenskostnadsmetrikk I vår metrikk for inferenskostnad kalt Cost Per Million Input and Output Tokens ved referansehastighet, ser vi at NVIDIA H100- og B200-systemer oppnår lavere totalkostnad enn TPU v6e og MI300X. For Llama 3.3 70B som kjører med vLLM med en Per-Query Reference Speed på 30 output tokens/s, oppnår NVIDIA H100 en kostnad per million input- og outputtokens på $1,06, sammenlignet med MI300X på $2,24 og TPU v6e på $5,13. Denne analysen baserer seg på resultater fra Artificial Analysis System Load Test for systeminferensgjennomstrømning over ulike samtidighetsnivåer, og GPU-instansprisdata vi samler inn fra ulike GPU-skyleverandører. "Cost Per Million Input and Output Tokens at Reference Speed" bruker systemgjennomstrømningen systemet kan oppnå samtidig som det opprettholder 30 utdatatokens per sekund per spørring, og deler systemets leiekostnad på denne gjennomstrømningen (skalert til en million tokens). Fullstendige resultater over et spekter av samtidighets- og hastighetsnivåer er tilgjengelige på siden for Artificial Analysis Hardware Benchmarking. Viktig kontekst: ➤ Vi rapporterer kun resultater for TPU v6e som kjører Llama 3.3 70B fordi dette er den eneste modellen på vår maskinvareside hvor vLLM på TPU offisielt støttes. Vi rapporterer resultater for NVIDIA Hopper- og Blackwell-systemer, og nå for AMD MI300X, på tvers av alle fire modellene på vår maskinvareside: gpt-oss-120b, Llama 4 Maverick, DeepSeek R1 og Llama 3.3 70B. ➤ Disse resultatene er basert på hva selskaper kan leie nå i skyen – neste generasjons MI355X- og TPU v7-akseleratorer er ennå ikke allment tilgjengelige. Vi tar den laveste prisen på tvers av et referansesett av GPU-skyleverandører. TPU v6e er priset on-demand til $2,70 per brikke per time, noe som er billigere enn vår laveste målte pris for NVIDIA B200 ($5,50 per time), men likt NVIDIA H100 ($2,70 per time) og AMD MI300X ($2 per time). ➤ Googles TPU v7 (Ironwood) blir allment tilgjengelig i løpet av de kommende ukene. Vi forventer at TPU v7 vil prestere betydelig bedre enn v6e, gitt store sprang i beregning (918 TFLOPS til 4 614 TFLOPS), minne (32GB til 192GB) og minnebåndbredde (1,6 TB/s til 7,4 TB/s). Vi vet imidlertid ennå ikke hva Google vil kreve for disse tilfellene – så effekten på implisitte kostnader per token er ennå uklar. ➤ Vår Kostnad per million Input and Output Tokens-metrikk kan ikke sammenlignes direkte med serverless API-priser. Den totale implisitte kostnaden per million tokens for en gitt distribusjon påvirkes av hastigheten per spørring du ønsker å sikte mot (drevet av batchstørrelse/samtidighet) og forholdet mellom input- og outputtokens. ➤ Disse resultatene gjelder alle systemer med 8 akseleratorer – altså. 8xH100, 8xB200, 8xTPU v6e, 8xMI300X. Vi har også nylig publisert oppdaterte Blackwell-resultater – mer analyse av disse kommer snart.

Google TPU v6e vs AMI MI300X vs NVIDIA H100/B200: Artificial Analysis' Hardware Benchmarking viser at NVIDIA oppnår en ~5x fordel per dollar over TPU v6e (Trillium), og en ~2x fordel over MI300X, i vår viktigste slutningskostnadsmetrikk I vår metrikk for inferenskostnad kalt Cost Per Million Input and Output Tokens ved referansehastighet, ser vi at NVIDIA H100- og B200-systemer oppnår lavere totalkostnad enn TPU v6e og MI300X. For Llama 3.3 70B med en referansehastighet per spørring på 30 utdatatokens/s, oppnår NVIDIA H100 en kostnad per million inn- og utgangstokens på 1,06 dollar, sammenlignet med MI300X på 2,24 dollar og TPU v6e på 5,13 dollar. Denne analysen baserer seg på resultater fra Artificial Analysis System Load Test for systeminferensgjennomstrømning over ulike samtidighetsnivåer, og GPU-instansprisdata vi samler inn fra ulike GPU-skyleverandører. "Cost Per Million Input and Output Tokens at Reference Speed" bruker systemet gjennom hele systemet som systemet kan oppnå samtidig som de opprettholder 30 utdatatokens per sekund per forespørsel, og deler dette på kostnaden ved å leie systemet. Fullstendige resultater over et spekter av samtidighets- og hastighetsnivåer er tilgjengelige på siden for Artificial Analysis Hardware Benchmarking. Viktig kontekst: ➤ Disse resultatene er basert på hva selskaper kan leie nå i skyen – neste generasjons MI355X- og TPU v7-akseleratorer er ennå ikke allment tilgjengelige. Vi tar den laveste prisen på tvers av et referansesett av GPU-skyleverandører. TPU v6e er priset on-demand til $2,70 per brikke per time, noe som er billigere enn vår laveste målte pris for NVIDIA B200 ($5,50 per time), men likt NVIDIA H100 ($2,70 per time) og AMD MI300X ($2 per time). ➤ Googles TPU v7 (Ironwood) blir allment tilgjengelig i løpet av de kommende ukene. Vi forventer at TPU v7 vil prestere betydelig bedre enn v6e, gitt store sprang i beregning (918 TFLOPS til 4 614 TFLOPS), minne (32GB til 192GB) og minnebåndbredde (1,6 TB/s til 7,4 TB/s). Vi vet imidlertid ennå ikke hva Google vil kreve for disse tilfellene – så effekten på implisitte kostnader per token er ennå uklar. ➤ Vår Kostnad per million Input and Output Tokens-metrikk kan ikke sammenlignes direkte med serverless API-priser. Den totale implisitte kostnaden per million tokens for en gitt distribusjon påvirkes av hastigheten per spørring du ønsker å sikte mot (drevet av batchstørrelse/samtidighet) og forholdet mellom input- og outputtokens. ➤ Vi rapporterer kun resultater for TPU v6e som kjører Llama 3.3 70B fordi dette er den eneste modellen som vises på maskinvaresiden vår som også offisielt støttes for vLLM på TPU. Vi rapporterer resultater for NVIDIA Hopper- og Blackwell-systemer, og nå for AMD MI300X, på tvers av alle fire modellene på vår maskinvareside: gpt-oss-120b, Llama 4 Maverick, DeepSeek R1 og Llama 3.3 70B. ➤ Disse resultatene gjelder alle systemer med 8 akseleratorer – altså. 8xH100, 8xB200, 8xTPU v6e, 8xMI300X. Vi har også nylig publisert oppdaterte Blackwell-resultater – mer analyse av disse kommer snart.

Hva er Whisper Thunder? 👀👀👀