🎉Gratulujeme týmu @Zai_org k uvedení GLM-4.6V a GLM-4.6V-Flash — přičemž day-0 poskytuje podporu ve vLLM Recipes pro týmy, které je chtějí provozovat na svých vlastních GPU. GLM-4.6V se zaměřuje na vysoce kvalitní multimodální uvažování s dlouhým kontextem a nativním voláním nástrojů/funkcí, zatímco GLM-4.6V-Flash je varianta 9B laděná pro nasazení s nižší latencí a menší kapacitou; náš nový vLLM Recipe přináší připravené konfigurace, multi-GPU návody a produkčně orientované výchozí nastavení. Pokud vytváříte inferenční služby a chcete mít ve svém stacku GLM-4.6V, začněte zde:

🎉 Gratulujeme týmu Mistral k uvedení rodiny Mistral 3! Jsme hrdí, že můžeme sdílet to, že @MistralAI, @NVIDIAAIDev, @RedHat_AI a vLLM úzce spolupracovali na zajištění plné podpory Day-0 pro celou řadu Mistral 3. Tato spolupráce umožnila: • NVFP4 (LLM-kompresor) optimalizované kontrolní body • Řídká MoE jádra pro Mistral Large 3 • Předplnění/dekódování rozčleněné servírování • Multimodální + dlouhokontextová inference • Efektivní inference na A100 / H100 / Blackwell 🙏 Obrovské díky patří @MistralAI, @NVIDIAAIDev a @RedHat_AI za silné partnerství a inženýrské úsilí, které umožnilo optimalizaci Day-0. Pokud chcete nejrychlejší a nejefektivnější open-source nasazení pro celou řadu Mistral 3 – vLLM je připraven už dnes.

To se mi líbí: komunitní přispěvatel vytvořil vLLM Playground, aby bylo inferování viditelné, interaktivní a přátelské k experimentům. Od vizuálních konfiguračních přepínač po automatické generování příkazů, od podpory GPU/M-čipu až po benchmarking GuideLLM + integraci LLMCompressor — spojuje celý životní cyklus vLLM do jednoho jednotného UX. Obrovské uznání pro micyang za tento promyšlený a vyladěný příspěvek. 🔗