Świetne narzędzie do oszacowania, ile VRAM naprawdę potrzebują Twoje LLM-y. Zmień konfigurację sprzętową, kwantyzację itp., a powie Ci o: - Prędkości generacji (tokeny/sek) - Dokładnym przydziale pamięci - Przepustowości systemu itp. Koniec z zgadywaniem VRAM!