Kimi K2 Providers: Groq levert Kimi K2 met >400 output tokens/s, 40X sneller dan de first-party API van Moonshot. Gefeliciteerd aan een aantal providers die snel API's voor Kimi K2 hebben gelanceerd, waaronder @GroqInc, @basetenco, @togethercompute, @FireworksAI_HQ, @parasail_io, @novita_labs, @DeepInfra, en natuurlijk @Kimi_Moonshot. Dit is indrukwekkend gezien de grootte van het model met 1 triljoen totale parameters. Groq valt op door zijn razendsnelle snelheid. DeepInfra, Novita en Baseten vallen op door hun prijsstelling, aangezien zij de enige providers zijn die vergelijkbaar of goedkoper prijzen dan de first-party API van Moonshot. Zie hieronder voor verdere vergelijkingen tussen de providers. We verwachten snelle stijgingen in snelheid bij sommige providers naarmate teams optimaliseren voor het K2-model - onze cijfers hieronder tonen mediane snelheden over de afgelopen 72 uur, maar we zien al dat DeepInfra vandaag is gestegen naar 62 tokens/s in de metingen.