Acaba de llegar un hito importante en la IA a escala de frontera, impulsado por AMD. @ZyphraAI ha entrenado con éxito ZAYA1-Base, el primer modelo fundacional a gran escala de Mezcla de Expertos (MoE) entrenado íntegramente sobre la plataforma AMD, desde computación hasta redes y software. Este logro valida hacia dónde hemos estado construyendo: GPUs AMD Instinct MI300X + Pensando Pollara red + software ROCm = una alternativa lista para producción y alto rendimiento para el entrenamiento de IA a gran escala. Junto con @ZyphraAI y @IBM Cloud, co-diseñamos y desplegamos un clúster que ofrece 750+ PFLOPs (Max Achievable FLOPS), aprovechando 192 GB de memoria HBM, tarjetas de red Pollara de 400 Gbps y una pila de software ROCm totalmente optimizada. El resultado: ⚡ Un modelo MoE a escala fronteriza (8,3 B en total / 760 M activos) ⚡ Razonamiento competitivo, matemáticas y rendimiento en programación ⚡ Entrenamiento eficiente en contexto largo (hasta 32 K) ⚡ Avances en redes, kernels y diseño de sistemas Esto demuestra lo que es posible cuando el ecosistema AMD se consolida. La plataforma AMD está lista para la próxima ola de innovación en IA. Y esto es solo el principio. Lee el blog de @EmadBarsoumPi y @KarimBhalwani aquí:

Acaba de llegar un hito importante en la IA a escala de frontera, impulsado por AMD. @ZyphraAI ha entrenado con éxito ZAYA1-Base, el primer modelo fundacional a gran escala de Mezcla de Expertos (MoE) entrenado íntegramente sobre la plataforma AMD, desde computación hasta redes y software. Este logro valida hacia dónde hemos estado construyendo: GPUs AMD Instinct MI300X + Pensando Pollara red + software ROCm = una alternativa lista para producción y alto rendimiento para el entrenamiento de IA a gran escala. Junto con @ZyphraAI y @IBM Cloud, co-diseñamos y desplegamos un clúster que ofrece 750+ PFLOPs (Max Achievable FLOPS), aprovechando 192 GB de memoria HBM, tarjetas de red Pollara de 400 Gbps y una pila de software ROCm totalmente optimizada. El resultado: ⚡ Un modelo MoE a escala fronteriza (8,3 B en total / 760 M activos) ⚡ Razonamiento competitivo, matemáticas y rendimiento en programación ⚡ Entrenamiento eficiente en contexto largo (hasta 32 K) ⚡ Avances en redes, kernels y diseño de sistemas Esto demuestra lo que es posible cuando el ecosistema AMD se consolida. La plataforma AMD está lista para la próxima ola de innovación en IA. Y esto es solo el principio. Lee el blog de @EmadBarsoum y @KarimBhalwani aquí:

ZAYA1 demuestra lo que pueden lograr las plataformas abiertas. @ZyphraAI, @AMD y @IBM co-diseñaron un modelo Mezcla de Expertos listo para producción para entrenamiento en IA a escala vanguardista que ofrece alto rendimiento y eficiencia. Consulta los detalles completos y el informe técnico: