Crusoe Managed Inference es realmente bueno. Crusoe MemoryAlloy une de manera eficiente múltiples capas de memoria para ofrecer una expansión masiva de caché KV y acelerar las cargas de trabajo de inferencia. Esto es especialmente poderoso para los prompts de contexto largo. ¡Estoy realmente orgulloso del equipo por lanzar un producto tan increíble! ¡Pruébalo!