Чудовий інструмент для оцінки того, скільки відеопам'яті насправді потрібно вашим LLM. Змініть апаратну конфігурацію, квантування і т.д., це говорить вам про: - Швидкість генерації (токени/сек) - Точний розподіл пам'яті - Пропускна здатність системи і т.д. Більше не потрібно вгадувати відеопам!