Stort ögonblick för agentbyggare! Det finns ett mönster som upprepas i mjukvaran. För det första fokuserar alla på "bygg"-problemet. Ramverk växer fram, mognar och blir genuint bra. Sedan plötsligt byter begränsningen till utplacering. Vi såg detta med neurala nätverk. PyTorch, TensorFlow och Caffe var alla utmärkta för att bygga modeller. Men att distribuera dem innebar att hantera olika format och körtider. ONNX tillät utvecklare att bygga in vilket ramverk de ville, exportera till ett standardformat och distribuera var som helst. Vi ser samma mönster utvecklas med Agents just nu. Ramverk som LangGraph, CrewAI, Agno och Strands är tillräckligt mogna för att bygga en agent inte längre är den svåraste delen. Istället är det vad som händer efter det: distribution, streaming, minneshantering, observabilitet och automatisk skalning. Det här är inte agentproblem utan snarare infrastrukturella problem. Och just nu löser varje AI-team jag har pratat med dem från grunden. xpander tar ONNX-metoden till detta problem, och jag tycker att det är rätt mentala modell. Kärnidén är enkel: ta med din agent (byggd i vilket ramverk som helst), distribuera den via xpander och skaffa all produktionsinfrastruktur. Detta inkluderar: - Distribuera serverlöst på ~2 minuter - SSE-streaming för realtidstänkande UX - Minneshantering på sessions-/användarnivå - 2 000+ kontakter (Slack, GitHub och fler) - Ett enhetligt API för att anropa vilken agent som helst, oavsett ramverk, Unified API är förmodligen den mest intressanta delen av detta. I princip får varje agent du distribuerar (oavsett ramverk) samma anropsändpunkt, med samma payload-struktur, streamingformat och autentiseringsmönster. Det betyder att ditt frontend inte behöver veta om agenten är byggd med LangGraph, CrewAI eller något specialanpassat. Den träffar bara ändpunkten och får ett svar. Detta är viktigt eftersom olika team i många organisationer bygger agenter med olika ramverk baserat på deras preferenser eller användningsområden. Utan ett enhetligt lager slutar de med att upprätthålla flera integrationsmönster och streamingimplementationer. xpander tillhandahåller dock ett API-kontrakt över varje agent, så den konsumentiska appen behöver inte veta vilket ramverk agenten byggdes in. Videon nedan visar xpanders enhetliga API i praktiken. Du kan utöka samma standardiserade API-endpoint-format till vilken agent som helst, oavsett ramverk, och få samma fördelar med streaming, minne, observabilitet och skalning utan att ändra en enda rad integrationskod. Byggnaden förblir frikopplad från utplaceringen, vilket är precis som det ska vara. Jag har delat GitHub-repot i svaren!

Alla sover på den här nya artikeln från AWS. En modell som var 100 gånger mindre än GPT och Claude krossade dem på verktygsuppringning. AWS-forskare tog Facebooks OPT-350M, en modell från 2022 med 500 gånger färre parametrar än GPT, och finjusterade den på ToolBench för en enda epok. Resultaten är vilda: ↳ Deras SLM: 77,55 % godkännandefrekvens ↳ ChatGPT-CoT: 26% ↳ ToolLLaMA: 30% ↳ Claude-CoT: 2,73 % Så här händer det: Stora modeller lider av "parameterutspädning." Största delen av deras kapacitet är optimerad för allmänna språkuppgifter, inte de exakta Thought-Action-Input-mönster som verktygsanrop behöver. En liten modell som är specifikt tränad på verktygsanrop koncentrerar all sin kapacitet på just den saken. Inga distraktioner. Träningsupplägget var förvånansvärt enkelt. Hugging Face TRL, 187K exempel, inlärningshastighet 5e-5 och aggressiv gradientklippning för stabilitet. Men jag vill vara tydlig med en sak: Det betyder inte att små modeller vinner överallt. Författarna medger att deras modell kan ha svårt med komplexa kontextuella nyanser eller tvetydiga önskemål. Det är en specialist, inte en generalist. Men om du bygger agentiska system och vill minska inferenskostnaderna med storleksordningar, är detta värt att uppmärksamma. Jag har delat länken till artikeln i nästa tweet.

Den första verkligt öppna ljud- och videomodellen. LTX-2 är en DiT-baserad grundmodell med alla kärnfunktioner för videogenerering i en enhetlig modell. Designad för att köras lokalt på konsument-GPU:er. - text-till-video - bild-till-video - och video-till-video-lägen 100 % öppen källkod.