Den mest omfattande RL-översikten jag någonsin sett. Kevin Murphy från Google DeepMind, som har över 128 000 citeringar, skrev detta. Vad gör detta annorlunda än andra RL-resurser: → Den förenar klassisk RL med den moderna LLM-eran: Det finns ett helt kapitel dedikerat till "LLM och RL" som täcker: - RLHF, RLAIF och belöningsmodellering - PPO, GRPO, DPO, RLOO, FÖRSTÄRKA++ - Träningsmodeller för resonememang - Multi-turn RL för agenter - Testtidsskalning av beräkningar → Grunderna är kristallklara Varje större algoritm, som värdebaserade metoder, policygradienter och aktör-kritiker, förklaras med matematisk stringens. → Modellbaserade RL- och världsmodeller får rätt täckning Täcker Dreamer, MuZero, MCTS och vidare, vilket är precis dit fältet är på väg. → Multiagent RL-sektion Spelteori, Nash-jämvikt och MARL för LLM-agenter. Jag har delat arXiv-artikeln i svaren!

Den här nya grafdatabasen är 496 gånger snabbare än Neo4j! (öppen källkod) Låt mig förklara varför: En traditionell grafdatabas lagrar två saker: noder (entiteter) och kanter (relationer mellan dem). När du frågar en traditionell grafdatabas går den genom "pekarjakt": → Börja vid en nod → Följ en pekare till den anslutna noden → Följ ett annat tips → Upprepa Detta är i grunden sekventiellt. Ett hopp i taget. Och när din graf växer blir detta smärtsamt långsamt. FalkorDB ställer en annan fråga: Vad händer om vi representerar hela grafen som en matris? Så här fungerar det: Föreställ dig ett enkelt rutnät. Raderna är källnoder, kolumnerna är destinationsnoder. Om Mary följer Bob sätter du position [Mary, Bob] = 1. Det är allt. Hela din graf är nu en matris av ettor och nollor. Låt oss kalla detta Follows-matrisen (F). Här blir det intressant: Att hitta vilka Marys vänner följer? I en traditionell grafdatabas hoppar du två gånger: Mary → vänner → vänners vänner. Men med matriser multiplicerar du Follows-matrisen med sig själv: F × F = F². Det här kräver bara en operation, och du är klar! På liknande sätt blir ett komplext mönster som "A följer B, B gillar C": Följer × Gillar. Detta innebär att du kan representera traversering som matematiska operationer. Varför detta är viktigt: - Matrisoperationer har optimerats i 50+ år - Modern hårdvara (CPU:er/GPU:er) är byggd för att bearbeta matriser - Operationer körs parallellt (pekarjakt kan helt enkelt inte) Även om det finns några fler optimeringar inblandade (som att använda glesa matriser, skrivna i C, etc.), gör detta tillvägagångssätt FalkorDB 496x snabbare än Neo4j. Grafiken nedan visar denna skillnad tydligt. Traditionella grafdatabaser går via Cypher QL → Pointer-Based Traversal, medan FalkorDB använder en Matrix-Aware Planner som omvandlar frågor till matrisoperationer. FalkorDB är helt byggt på denna princip: - Inbyggd Redis-modul (i minnet, ultrasnabb) - Drivs av GraphBLAS för glesa matrisoperationer - Översätter automatiskt Cypher-frågor till matrisalgebra Detta är oerhört viktigt för AI-applikationer eftersom... Moderna AI-agenter och RAG-system behöver navigera komplexa relationer i realtid. När en agent resonerar genom en kunskapsgraf som kopplar användare till handlingar och resultat, ökar varje millisekund latens. Vektordatabaser fångar semantisk likhet. Men de saknar explicita relationer. Kunskapsgrafer fyller det gapet. Och när din agent behöver utföra multi-hop-resonemang över tusentals sammankopplade enheter, gör matrisbaserad traversering det enklare att skala din AI-applikation utan att stöta på latensflaskhalsar. FalkorDB är 100 % öppen källkod, och du kan se hela implementationen på GitHub och prova själv. Jag har delat en länk till deras GitHub-repo i svaren.

8 AI-modellarkitekturer, visuellt förklarade: Alla pratar om LLM:er, men det finns en hel familj av specialiserade modeller som gör otroliga saker. Här är en snabb genomgång: 1. LLM (Stora språkmodeller) Text går in, tokeniseras till inbäddningar, bearbetas genom transformers, och text kommer ut. ↳ GPT, Claude, Gemini, Llama. 2. LCM (Stora konceptmodeller) Fungerar på konceptnivå, inte på tokens. Inmatningen segmenteras i meningar, skickas genom SONAR-inbäddningar, och används sedan diffusion innan utdata. ↳ Metas LCM är pionjären. 3. LAM (Stora Actionmodeller) Förvandlar avsikt till handling. Input flödar genom perception, avsiktsigenkänning, uppgiftsuppdelning och sedan handlingsplanering med minnet innan genomförandet. ↳ Rabbit R1, Microsoft UFO, Claude Computer Use. 4. MoE (Blandning av experter) En router avgör vilka specialiserade "experter" som hanterar din fråga. Endast relevanta experter aktiveras. Resultaten går igenom urval och bearbetning. ↳ Mixtral, GPT-4, DeepSeek. 5. VLM (Vision-Language Models) Bilder passerar genom en visionskodare, text genom en textkodare. Båda fusioneras i en multimodal processor, och sedan genererar en språkmodell utdata. ↳ GPT-4V, Gemini Pro Vision, LLaVA. 6. SLM (Små språkmodeller) LLM:er optimerade för edge-enheter. Kompakt tokenisering, effektiva transformatorer och kvantisering för lokal distribution. ↳ Phi-3, Gemma, Mistral 7B, Llama 3.2 1B. 7. MLM (Maskerade språkmodeller) Tokens maskeras, omvandlas till inbäddningar och bearbetas sedan i båda riktningar för att förutsäga dolda ord. ↳ BERT, RoBERTa, DeBERTa power search och sentimentanalys. 8. SAM (Segment Anything Models) Prompts och bilder går genom separata kodare, matas in i en maskavkodare för att skapa pixelperfekt segmentering. ↳ Metas SAM driver fotoredigering, medicinsk bildbehandling och autonoma fordon. Vad mer skulle du lägga till? 👉 I min nästa tweet har jag delat min senaste AI Engineering Guidebook (380+ sidor) med 150+ kärnlektioner. Allt är 100 % öppen källkod (25 000+ stjärnor 🌟)