一個很棒的工具,可以估算您的 LLM 實際需要多少 VRAM。 更改硬體配置、量化等,它會告訴您: - 生成速度(每秒令牌) - 精確的記憶體分配 - 系統吞吐量等。 不再需要猜測 VRAM!