PANews ha riferito il 12 settembre che Tongyi Qianwen di Alibaba ha rilasciato l'infrastruttura di nuova generazione Qwen3-Next e ha reso open source i modelli della serie Qwen3-Next-80B-A3B basati su questa architettura. Rispetto alla struttura del modello MoE di Qwen3, la struttura presenta i seguenti miglioramenti principali: meccanismo di attenzione mista, struttura MoE ad alta sparsità, una serie di ottimizzazioni stabili e amichevoli per l'addestramento e un meccanismo di previsione multi-token per migliorare l'efficienza dell'inferenza. Sulla base della struttura del modello di Qwen3-Next, Alibaba ha addestrato il modello Qwen3-Next-80B-A3B-Base, che ha 80 miliardi di parametri e attiva solo 3 miliardi di parametri. Il modello di base raggiunge prestazioni simili o addirittura leggermente migliori rispetto al modello denso Qwen3-32B e il suo costo di addestramento (ore GPU) è inferiore a un decimo di quello di Qwen3-32B e il throughput di inferenza nel contesto di oltre 32k è più di dieci volte quello di Qwen3-32B, raggiungendo le massime prestazioni in termini di costi di addestramento e inferenza.