Populaire onderwerpen
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
vLLM
🚀 Dag 0 ondersteuning: Kimi K2 Thinking draait nu op vLLM!
In samenwerking met @Kimi_Moonshot zijn we trots om officiële ondersteuning te bieden voor het state-of-the-art open thinking model met 1T parameters, 32B actief.
Eenvoudige implementatie in vLLM (nachtversie) met OpenAI-compatibele API:
Wat het speciaal maakt:
⚡ Native INT4 kwantisatie → 2× snellere inferentie
💾 De helft van de geheugengebruik, geen nauwkeurigheidsverlies
🎯 256K context, stabiel over 200-300 toolaanroepen
🎯 Officiële recept & implementatiehandleiding inbegrepen
Wereldklasse redenering, nu toegankelijk voor iedereen.
📦 Model:
📚 Recepten:
#vLLM #KimiK2 #LLMInference
6 nov, 23:04
🚀 Hallo, Kimi K2 Thinking!
Het Open-Source Thinking Agent Model is hier.
🔹 SOTA op HLE (44,9%) en BrowseComp (60,2%)
🔹 Voert tot 200 – 300 opeenvolgende tool-aanroepen uit zonder menselijke tussenkomst
🔹 Uitstekend in redeneren, agentisch zoeken en coderen
🔹 256K contextvenster
Gebouwd als een denkagent, markeert K2 Thinking onze nieuwste inspanningen in test-tijd schaling — zowel het schalen van denk-tokens als tool-aanroepbeurten.
K2 Thinking is nu live in chatmodus, met de volledige agentische modus die binnenkort komt. Het is ook toegankelijk via API.
🔌 API is live:
🔗 Tech blog:
🔗 Gewichten & code:
30,61K
🚀 DeepSeek-OCR — de nieuwe grens van OCR van @deepseek_ai, verkent optische contextcompressie voor LLMs, draait razendsnel op vLLM ⚡ (~2500 tokens/s op A100-40G) — aangedreven door vllm==0.8.5 voor day-0 modelondersteuning.
🧠 Comprimeert visuele contexten tot 20× terwijl 97% OCR-nauwkeurigheid behouden blijft bij <10×.
📄 Overtreft GOT-OCR2.0 & MinerU2.0 op OmniDocBench met minder vision tokens.
🤝 Het vLLM-team werkt samen met DeepSeek om officiële DeepSeek-OCR-ondersteuning in de volgende vLLM-release te brengen — waardoor multimodale inferentie nog sneller en gemakkelijker te schalen is.
🔗
#vLLM #DeepSeek #OCR #LLM #VisionAI #DeepLearning
1,34M
Boven
Positie
Favorieten