PANews a rapporté le 12 septembre que Tongyi Qianwen d’Alibaba a lancé l’infrastructure de nouvelle génération Qwen3-Next, et a ouvert les modèles de la série Qwen3-Next-80B-A3B basés sur cette architecture. Par rapport à la structure du modèle MoE de Qwen3, la structure présente les améliorations fondamentales suivantes : mécanisme d’attention mixte, structure MoE à haute parcimonie, une série d’optimisations stables et conviviales pour l’entraînement et un mécanisme de prédiction multi-tokens pour améliorer l’efficacité de l’inférence. Sur la base de la structure du modèle Qwen3-Next, Alibaba a formé le modèle Qwen3-Next-80B-A3B-Base, qui comporte 80 milliards de paramètres et n’active que 3 milliards de paramètres. Le modèle de base atteint des performances similaires, voire légèrement supérieures, à celles du modèle dense Qwen3-32B, et son coût d’entraînement (heures GPU) est inférieur à un dixième de celui de Qwen3-32B, et le débit d’inférence dans le contexte de plus de 32k est plus de dix fois supérieur à celui de Qwen3-32B, ce qui permet d’obtenir les performances ultimes en termes de coûts d’entraînement et d’inférence.