PANewsは9月12日、アリババのTongyi Qianwenが次世代インフラストラクチャQwen3-Nextをリリースし、このアーキテクチャに基づいてQwen3-Next-80B-A3Bシリーズモデルをオープンソース化したと報じた。 Qwen3 の MoE モデル構造と比較して、この構造には、混合アテンション メカニズム、高スパース性 MoE 構造、トレーニングのための一連の安定したフレンドリーな最適化、推論効率を向上させるためのマルチトークン予測メカニズムなどの主要な改善点があります。 Qwen3-Next のモデル構造に基づいて、アリババは Qwen3-Next-80B-A3B-Base モデルをトレーニングしましたが、このモデルは 800 億のパラメーターを持ち、30 億のパラメーターしかアクティブにしません。 ベースモデルは、Qwen3-32B高密度モデルと同等かわずかに優れたパフォーマンスを達成し、そのトレーニングコスト(GPU時間)はQwen3-32Bの10分の1未満であり、32kを超えるコンテキストでの推論スループットはQwen3-32Bの10倍以上であり、究極のトレーニングと推論のコストパフォーマンスを実現します。