Crusoe Managed Inference действительно хорош. Crusoe MemoryAlloy эффективно соединяет несколько слоев памяти, чтобы обеспечить значительное расширение KV-кэша и ускорение рабочих нагрузок по выводу. Это особенно мощно для длинных контекстных подсказок. Я очень горжусь командой за то, что они выпустили такой невероятный продукт! Попробуйте!