Актуальные темы
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
vLLM
🚀 Поддержка Дня 0: Kimi K2 Thinking теперь работает на vLLM!
В партнерстве с @Kimi_Moonshot мы гордимся тем, что предоставляем официальную поддержку передовой модели открытого мышления с 1T параметрами и 32B активными.
Легкое развертывание в vLLM (ночная версия) с совместимым API OpenAI:
Что делает это особенным:
⚡ Нативная квантование INT4 → в 2 раза быстрее вывод
💾 Вдвое меньший объем памяти, без потери точности
🎯 256K контекста, стабильно при 200-300 вызовах инструментов
🎯 Включены официальные рецепты и руководство по развертыванию
Мировой уровень рассуждений, теперь доступный для всех.
📦 Модель:
📚 Рецепты:
#vLLM #KimiK2 #LLMInference
6 нояб., 23:04
🚀 Привет, Kimi K2 Thinking!
Модель открытого исходного кода Thinking Agent здесь.
🔹 SOTA на HLE (44.9%) и BrowseComp (60.2%)
🔹 Выполняет до 200 – 300 последовательных вызовов инструментов без человеческого вмешательства
🔹 Превосходно справляется с рассуждениями, агентным поиском и кодированием
🔹 256K контекстное окно
Созданный как мыслящий агент, K2 Thinking отмечает наши последние усилия в масштабировании во время тестирования — масштабирование как токенов мышления, так и вызовов инструментов.
K2 Thinking теперь доступен в режиме чата, полный агентный режим скоро будет доступен. Он также доступен через API.
🔌 API в режиме реального времени:
🔗 Технический блог:
🔗 Веса и код:
30,62K
🚀 DeepSeek-OCR — новая граница OCR от @deepseek_ai, исследующая оптическое сжатие контекста для LLM, работает с невероятной скоростью на vLLM ⚡ (~2500 токенов/с на A100-40G) — поддержка модели day-0 на vllm==0.8.5.
🧠 Сжимает визуальные контексты до 20×, сохраняя 97% точности OCR при <10×.
📄 Превосходит GOT-OCR2.0 и MinerU2.0 на OmniDocBench, используя меньше токенов визуализации.
🤝 Команда vLLM работает с DeepSeek, чтобы добавить официальную поддержку DeepSeek-OCR в следующий релиз vLLM — делая многомодальное вывод еще быстрее и проще для масштабирования.
🔗
#vLLM #DeepSeek #OCR #LLM #VisionAI #DeepLearning
1,34M
Топ
Рейтинг
Избранное