Zarządzana Inference Crusoe jest naprawdę dobra. Crusoe MemoryAlloy efektywnie łączy wiele warstw pamięci, aby dostarczyć ogromne rozszerzenie pamięci KV i przyspieszenie obciążeń inferencyjnych. To jest szczególnie potężne dla długich kontekstowych podpowiedzi. Jestem naprawdę dumny z zespołu za wprowadzenie na rynek tak niesamowitego produktu! Spróbuj tego!