Tópicos em alta
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
vLLM
🚀 Suporte ao Dia 0: Kimi K2 Thinking agora rodando no vLLM!
Em parceria com a @Kimi_Moonshot, temos o orgulho de oferecer suporte oficial para o modelo de pensamento aberto de última geração com parâmetros 1T, 32B ativos.
Fácil implantação em vLLM (versão noturna) com API compatível com OpenAI:
O que o torna especial:
⚡ A quantização INT4 nativa → inferência 2× mais rápida
💾 Metade do espaço ocupado pela memória, sem perda de precisão
🎯 256K de contexto, estável em 200-300 chamadas de ferramentas
🎯 Receita oficial e guia de implantação incluídos
Raciocínio de classe mundial, agora acessível a todos.
📦 Modelo:
📚 Receitas:
#vLLM #KimiK2 #LLMInference
6 de nov., 23:04
🚀 Olá, Kimi K2 Thinking!
O modelo de agente de pensamento de código aberto está aqui.
🔹 SOTA em HLE (44,9%) e BrowseComp (60,2%)
🔹 Executa até 200 a 300 chamadas sequenciais de ferramentas sem interferência humana
🔹 Destaca-se em raciocínio, pesquisa agêntica e codificação
🔹 Janela de contexto de 256K
Construído como um agente de pensamento, o K2 Thinking marca nossos esforços mais recentes em escalonamento de tempo de teste - dimensionando tokens de pensamento e turnos de chamada de ferramentas.
O K2 Thinking agora está ativo no modo de bate-papo, com o modo de agente completo em breve. Também é acessível via API.
🔌 A API está ativa:
🔗 Blog de tecnologia:
🔗 Pesos e código:
30,62K
🚀 DeepSeek-OCR - a nova fronteira do OCR da @deepseek_ai , explorando a compactação de contexto óptico para LLMs, está sendo executado incrivelmente rápido no vLLM ⚡ (~ 2500 tokens/s no A100-40G) - alimentado por vllm == 0.8.5 para suporte ao modelo de dia 0.
🧠 Comprime contextos visuais em até 20× mantendo 97% de precisão de OCR em <10×.
📄 Supera o GOT-OCR2.0 e o MinerU2.0 no OmniDocBench usando menos tokens de visão.
🤝 A equipe do vLLM está trabalhando com o DeepSeek para trazer o suporte oficial do DeepSeek-OCR para a próxima versão do vLLM, tornando a inferência multimodal ainda mais rápida e fácil de dimensionar.
🔗
#vLLM #DeepSeek #OCR #LLM #VisionAI #DeepLearning
1,34M
Melhores
Classificação
Favoritos