Crusoe Managed Inference é muito bom. O Crusoe MemoryAlloy costura eficientemente múltiplas camadas de memória para entregar uma enorme expansão do cache KV e aceleração das cargas de trabalho de inferência. Isso é especialmente poderoso para prompts longos de contexto. Estou muito orgulhoso da equipe por lançar um produto tão incrível! Experimente!