熱門話題
#
Bonk 生態迷因幣展現強韌勢頭
#
有消息稱 Pump.fun 計劃 40 億估值發幣，引發市場猜測
#
Solana 新代幣發射平臺 Boop.Fun 風頭正勁
vLLM
恭喜 @Alibaba_Qwen 發布 Qwen-Image-2512！ 🎉
我們很高興地宣布在 vLLM-Omni 中提供 Day-0 支持。您現在可以立即使用我們優化的管道架構來服務這個 SOTA 開源圖像模型。
閱讀更多：
👇 下面查看運行情況：
2025年12月31日
🎁 來自Qwen的新年禮物——Qwen-Image-2512已經到來。
🚀 我們在新年之前對Qwen-Image的12月升級。
✨ 新功能：
• 更真實的人類——大幅減少“AI外觀”，更豐富的面部細節
• 更精細的自然紋理——更清晰的風景、水、毛皮和材料
• 更強大的文本渲染——更好的佈局，文本與圖像組合的準確性更高
🏆 在AI Arena進行了10,000多輪盲測，Qwen-Image-2512被評為最強的開源圖像模型，同時在與封閉源系統的競爭中保持競爭力。
👉 立即在Qwen Chat中試用：
🤗 Hugging Face：
📦 ModelScope：
💻 GitHub：
📝 部落格：
🤗 Hugging Face Demo：
📦 ModelScope Demo：
✨API：
🎆 以更好的圖像開始新的一年。
171
擴展 MoE 推理通常受限於通信 + KV 緩存：一旦推動專家並行，解碼可能會受到集體操作和不平衡的主導，而預填充的延遲者可能會使整個 EP 群組停滯。
關於在多節點 H200（Coreweave，Infiniband + ConnectX-7）上進行 vLLM 寬 EP 的新社區基準結果：
- 每個 H200 GPU 持續約 2.2k tokens/s（較早期的每 GPU 約 1.5k tokens/s 有所上升）
在這篇文章中，我們分享了使這一切成為可能的關鍵要素：
- 寬 EP (`--enable-expert-parallel`) 用於 DeepSeek 風格的 MoE + MLA KV 效率
- DeepEP 全到全，雙批重疊（DBO）和專家並行負載平衡（EPLB）
- 通過 llm-d、NVIDIA Dynamo 和 Ray Serve LLM 進行預填充/解碼的解耦和部署路徑
347
熱門
排行
收藏