Crusoe Managed Inference är riktigt bra. Crusoe MemoryAlloy syr effektivt ihop flera minneslager för att leverera en massiv expansion av KV-cachen och acceleration av inferensarbetsbelastningar. Detta är särskilt kraftfullt för långa kontextpromptar. Jag är verkligen stolt över teamet för att de levererat en så otrolig produkt! Testa det!