Saya memiliki beberapa keraguan dengan OpenAI API: Untuk pengguna Linux, Anda sudah dapat membangun sistem seperti itu sendiri dengan membeli kotak 4xH100, menginstalnya di rumah, menginstal CUDA dan vLLM secara lokal, dan menjalankan GLM, Kimi, atau model sumber terbuka yang sebanding. Dengan beban kerja konsumen yang khas, Anda harus mengharapkan TPS yang lebih tinggi untuk sebagian kecil dari biaya.