我對 OpenAI API 有幾個疑慮: 對於 Linux 使用者來說,你可以通過購買一台 4xH100 的伺服器,將其安裝在家中,並在本地安裝 CUDA 和 vLLM,然後運行 GLM、Kimi 或其他類似的開源模型,輕鬆地自己構建這樣的系統。對於典型的消費者工作負載,你應該期望以一小部分成本獲得更高的 TPS。