Jeg har noen innvendinger mot OpenAI API-et: For en Linux-bruker kan du allerede bygge et slikt system selv ganske enkelt ved å kjøpe en 4xH100-boks, installere den hjemme, installere CUDA og vLLM lokalt, og kjøre GLM, Kimi eller en tilsvarende åpen kildekode-modell. Med typiske forbrukerarbeidsbelastninger bør du forvente høyere TPS for en brøkdel av kostnaden.