vLLM poskytuje ještě lepší výkon inference se stejnou GPU platformou. Za pouhý měsíc jsme spolupracovali s NVIDIA na @nvidia zvýšení maximální propustnosti Blackwell na GPU až o 33 % – což výrazně snížilo náklady na token – a zároveň umožnili ještě vyšší špičkovou rychlost pro nejcitlivější latenci případy použití díky hluboké integraci a spolupráci s PyTorch.