Un reper major în AI la scară de frontieră tocmai a ajuns la atingere, alimentat de AMD. @ZyphraAI a antrenat cu succes ZAYA1-Base, primul model de bază la scară largă Mix-of-Experts (MoE) antrenat integral pe platforma AMD, de la calcul la rețea și software. Această realizare validează ceea ce am construit: GPU-uri AMD Instinct MI300X + rețea Pensando Pollara + software ROCm = o alternativă gata de producție, de înaltă performanță, pentru antrenamentul AI la scară largă. Împreună cu @ZyphraAI și @IBM Cloud, am co-proiectat și implementat un cluster care oferă 750+ PFLOPs (Max Achievable FLOPS), folosind 192 GB memorie HBM, plăci NIC Pollara de 400 Gbps și o stivă software ROCm complet optimizată. Rezultatul: ⚡ Un model MoE la scară frontieră (8,3 B total / 760 M activi) ⚡ Raționamentul competitiv, matematica și performanța programării ⚡ Antrenament eficient pe context lung (până la 32 K) ⚡ Descoperiri în rețelistică, nuclee și proiectarea sistemelor Acest lucru dovedește ce este posibil atunci când ecosistemul AMD se conturează. Platforma AMD este pregătită pentru următorul val de inovație în AI. Și acesta este doar începutul. Citește blogul de la @EmadBarsoumPi și @KarimBhalwani aici: