A Crusoe Managed Inference é realmente boa. A Crusoe MemoryAlloy costura eficientemente várias camadas de memória para oferecer uma enorme expansão de cache KV e aceleração de cargas de trabalho de inferência. Isso é especialmente poderoso para prompts de longo contexto. Estou realmente orgulhoso da equipe por lançar um produto tão incrível! Experimente!