Onnittelut @Alibaba_Qwen:lle Qwen-Image-2512:n julkaisusta! 🎉 Olemme innoissamme voidessamme ilmoittaa Day-0-tuesta vLLM-Omnissa. Voit nyt tarjota tämän SOTA:n avoimen lähdekoodin kuvamallin optimoidulla putkistoarkkitehtuurillamme välittömästi. Lue lisää: 👇 Katso se alta:

MoE-päättelyjen skaalaaminen on usein sidottu viestintään + KV-välimuistiin: kun painat asiantuntijaparallelismia, dekoodaus voi joutua kollektiivien ja epätasapainon hallitsemaksi, ja prefill-jälkikäteen jääneet ryhmät voivat pysäyttää kokonaisen EP-ryhmän. Uusia yhteisön vertailutuloksia vLLM:n laaja-EP:lle monisolmuisella H200:lla (Coreweave, Infiniband + ConnectX-7): - Jatkuva ~2,2k tokenia/s per H200 GPU (nousua aiemmasta ~1,5k tokenista/s per GPU) Kirjoituksessa jaamme keskeiset osat, jotka mahdollistavat tämän: - Wide-EP ('-enable-expert-parallel') DeepSeek-tyyliseen MoE + MLA KV -tehokkuuteen - DeepEP all-to-all, Dual-Batch Overlap (DBO) ja Expert Parallel Load Balancing (EPLB) - Esitäyttö/dekoodauksen ja käyttöönottopolut llm-d:n, NVIDIA Dynamon ja Ray Serve LLM:n kautta

vLLM tarjoaa vielä paremman päättelysuorituskyvyn samalla GPU-alustalla. Vain yhdessä kuukaudessa olemme tehneet yhteistyötä NVIDIA@nvidia n kanssa kasvattaaksemme Blackwellin maksimiläpäisyä GPU:ta kohden jopa 33 % – mikä merkittävästi alentaa kustannuksia per token – samalla kun mahdollistamme entistä korkeamman huippunopeuden viiveherkimmissä käyttötapauksissa, joita tukee syvä PyTorch-integraatio ja yhteistyö.