Важная веха в области AI на уровне фронтира только что достигнута, с поддержкой AMD. @ZyphraAI успешно обучила ZAYA1-Base, первую крупномасштабную модель Mixture-of-Experts (MoE), полностью обученную на платформе AMD, от вычислений до сетевого взаимодействия и программного обеспечения. Это достижение подтверждает то, к чему мы стремились: графические процессоры AMD Instinct MI300X + сетевое оборудование Pensando Pollara + программное обеспечение ROCm = готовая к производству, высокопроизводительная альтернатива для крупномасштабного обучения AI. Совместно с @ZyphraAI и @IBM Cloud мы совместно спроектировали и развернули кластер, обеспечивающий 750+ PFLOPs (максимально достижимые FLOPS), используя 192 ГБ памяти HBM, сетевые карты Pollara на 400 Гбит/с и полностью оптимизированный стек программного обеспечения ROCm. Результат: ⚡ Модель MoE на уровне фронтира (всего 8,3 млрд / 760 млн активных) ⚡ Конкурентоспособная производительность в рассуждениях, математике и программировании ⚡ Эффективное обучение с длинным контекстом (до 32 К) ⚡ Прорывы в сетевом взаимодействии, ядрах и системном дизайне Это доказывает, что возможно, когда экосистема AMD объединяется. Платформа AMD готова к следующей волне инноваций в AI. И это только начало. Читать блог от @EmadBarsoumPi и @KarimBhalwani здесь: