جوجل TPU v6e مقابل AMI MI300X مقابل NVIDIA H100/B200: تظهر نتائج اختبار الأجهزة في Artificial Analysis أن NVIDIA تحقق ميزة ~5x للرموز لكل دولار مقارنة ب TPU v6e (Trillium)، وميزة ~2x على MI300X، وفقا لمقياس تكلفة الاستدلال الرئيسي لدينا في مقياسنا لتكلفة الاستدلال المسمى تكلفة المليون رمز إدخال وإخراج عند السرعة المرجعية، نرى أنظمة NVIDIA H100 وB200 تحقق تكلفة إجمالية أقل من TPU v6e وMI300X. بالنسبة ل Llama 3.3 70B بسرعة مرجعية لكل استعلام تبلغ 30 رمزا إخراجا/ثانية، تحقق NVIDIA H100 تكلفة لكل مليون رمز إدخال وإخراج تبلغ $1.06، مقارنة ب MI300X بسعر 2.24 دولار وTPU v6e بسعر 5.13 دولار. يعتمد هذا التحليل على نتائج اختبار تحميل النظام التحليلي الاصطناعي، حيث أجد معدل استنتاج النظام عبر مستويات متزامنة متزامنة، وبيانات تسعير نسخ GPU التي نجمعها من مجموعة من مزودي سحابة GPU. يستخدم "تكلفة المليون رمز إدخال وإخراج عند السرعة المرجعية" النظام في جميع أنحاء ما يمكن للأنظمة تحقيقه مع الحفاظ على 30 رمزا إخراجيا في الثانية لكل استفسار، ويقسمها على تكلفة استئجار النظام. النتائج الكاملة عبر مجموعة من مستويات التزامن والسرعة متاحة في صفحة مقارنة الأجهزة للتحليل الاصطناعي. سياق مهم: ➤ هذه النتائج مبنية على ما يمكن للشركات استئجاره الآن في السحابة - الجيل القادم من مسرعات MI355X وTPU v7 ليست متوفرة على نطاق واسع بعد. نحن نأخذ أقل سعر عبر مجموعة مرجعية من مزودي سحابة GPU. سعر TPU v6e عند الطلب بسعر 2.70 دولار لكل شريحة في الساعة، وهو أرخص من أقل سعر تتبع لدينا ل NVIDIA B200 (5.50 دولار في الساعة) لكنه مشابه ل NVIDIA H100 (2.70 دولار في الساعة) وAMD MI300X (2 دولار في الساعة). ➤ TPU v7 من جوجل (Ironwood) سيصبح متاحا بشكل عام في الأسابيع القادمة. نتوقع أن يتفوق TPU v7 بشكل كبير على v6e، مع القفزات في الحوسبة (918 TFLOPS إلى 4,614 TFLOPS)، والذاكرة (32GB إلى 192GB)، وعرض النطاق الترددي للذاكرة (1.6 TB/s إلى 7.4 TB/s). ومع ذلك، لا نعرف بعد كم ستفرض جوجل رسوما على هذه الحالات - لذا فإن تأثير التكاليف الضمنية لكل رمز غير واضح بعد. ➤ لا يمكن مقارنة مقياس تكلفة المليون رمز الإدخال والمخرج لدينا مباشرة بتسعير واجهة برمجة التطبيقات بدون خادم. التكلفة الضمنية الإجمالية لكل مليون رمز لنشر معين تتأثر بسرعة الاستعلام التي تريد السعي إليها (مدفوعة بحجم الدفعة/التزامن) ونسبة الرموز المدخلة إلى الخارج. ➤ نحن نبلغ فقط عن نتائج TPU v6e التي تعمل بمحرك Llama 3.3 70B لأن هذا هو النموذج الوحيد المعروض في صفحة الأجهزة لدينا والذي يدعم أيضا رسميا ل vLLM على TPU. نبلغ عن نتائج أنظمة NVIDIA Hopper وBlackwell، والآن لأنظمة AMD MI300X، عبر جميع النماذج الأربعة في صفحة الأجهزة لدينا: gpt-oss-120b، Llama 4 Maverick، DeepSeek R1 و Llama 3.3 70B. ➤ هذه النتائج كلها للأنظمة التي تحتوي على 8 مسرعات - أي. 8xH100، 8xB200، 8xTPU v6e، 8xMI300X. كما نشرنا مؤخرا نتائج بلاكويل المحدثة - المزيد من التحليلات قريبا.

نتائج مفصلة حول كيفية تدرج الأداء حسب التزامن كما تم قياسه في اختبار تحميل نظام التحليل الاصطناعي