Một công cụ tuyệt vời để ước lượng lượng VRAM mà các LLM của bạn thực sự cần. Thay đổi cấu hình phần cứng, lượng hóa, v.v., nó sẽ cho bạn biết về: - Tốc độ sinh (token/giây) - Phân bổ bộ nhớ chính xác - Thông lượng hệ thống, v.v. Không còn phải đoán VRAM nữa!