🎉Gratulerer til @Zai_org-teamet med lanseringen av GLM-4.6V og GLM-4.6V-Flash — med day-0 serveringsstøtte i vLLM-oppskrifter for team som ønsker å kjøre dem på sine egne GPU-er. GLM-4.6V fokuserer på høykvalitets multimodal resonnement med lang kontekst og native verktøy-/funksjonskall, mens GLM-4.6V-Flash er en 9B-variant tilpasset lavere latens og mindre distribusjon; vår nye vLLM-oppskrift leverer ferdige konfigurasjoner, multi-GPU-veiledning og produksjonsorienterte standardinnstillinger. Hvis du bygger inferenstjenester og ønsker GLM-4.6V i stacken din, start her:

🎉 Gratulerer til Mistral-teamet med lanseringen av Mistral 3-familien! Vi er stolte av å kunne dele at @MistralAI, @NVIDIAAIDev, @RedHat_AI og vLLM jobbet tett sammen for å levere full Day-0-støtte for hele Mistral 3-serien. Dette samarbeidet muliggjorde: • NVFP4 (llm-kompressor) optimaliserte sjekkpunkter • Sparsomme MoE-kjerner for Mistral Large 3 • Prefill/dekod disaggregert servering • Multimodal + lang-kontekst inferens • Effektiv slutning på A100 / H100 / Blackwell 🙏 En stor takk til @MistralAI, @NVIDIAAIDev og @RedHat_AI for det sterke partnerskapet og ingeniørarbeidet som gjorde Day-0-optimalisering mulig. Hvis du vil ha den raskeste og mest effektive åpen kildekode-distribusjonsveien for hele Mistral 3-serien—vLLM er klart i dag.

Elsker dette: en bidragsyter fra fellesskapet har laget vLLM Playground for å gjøre slutninger synlige, interaktive og eksperimentvennlige. Fra visuelle konfigurasjonsbrytere til automatisk kommandogenerering, fra GPU/M-chip-støtte til GuideLLM-benchmarking + integrasjon med LLMCompressor — det samler hele vLLM-livssyklusen i én samlet UX. Stor ros til micyang for dette gjennomtenkte, polerte bidraget. 🔗