Kattavin RL-yleiskatsaus, jonka olen koskaan nähnyt. Kevin Murphy Google DeepMindistä, jolla on yli 128 000 viittausta, kirjoitti tämän. Mikä erottaa tämän muista RL-resursseista: → Se yhdistää klassisen RL:n moderniin LLM-aikaan: On kokonainen luku, joka on omistettu "LLM:ille ja RL:lle", kattaen seuraavat: - RLHF, RLAIF ja palkitsemismallinnus - PPO, GRPO, DPO, RLOO, VAHVISTUS++ - Koulutuspäättelymallit - Monikierrosinen RL agenteille - Testiaikainen laskentaskaalaus → Perusasiat ovat kristallinkirkkaat Jokainen merkittävä algoritmi, kuten arvopohjaiset menetelmät, politiikkagradientit ja toimija-kriitikko, selitetään matemaattisella tarkkuudella. → Mallipohjaiset RL- ja maailmanmallit saavat asianmukaisen peiton Kattaa Dreamerin, MuZeron, MCTS:n ja paljon enemmän, ja juuri siihen suuntaan ala on menossa. → Moniagenttinen RL-osio Peliteoria, Nashin tasapaino ja MARL LLM-agenteille. Olen jakanut arXiv-artikkelin vastauksissa!

Tämä uusi graafitietokanta on 496 kertaa nopeampi kuin Neo4j! (avoin lähdekoodi) Selitän miksi: Perinteinen graafitietokanta tallentaa kaksi asiaa: solmut (entiteetit) ja reunat (niiden väliset suhteet). Kun haet perinteistä graafitietokantaa, se etenee "osoittimen jahtaamisen" kautta: → Aloita solmusta → Seuraa osoitinta yhdistettyyn solmuun → Seuraa toista vinkkiä → Toista Tämä on luonteeltaan peräkkäistä. Yksi hyppy kerrallaan. Ja kun käyräsi kasvaa, tämä hidastuu tuskallisen paljon. FalkorDB esittää toisen kysymyksen: Entä jos esittäisimme koko graafin matriisina? Näin se toimii: Kuvittele yksinkertainen ruudukko. Rivit ovat lähdesolmuja, sarakkeet kohdesolmuja. Jos Mary seuraa Bobia, asetat paikan [Mary, Bob] = 1. Siinä se. Koko graafisi on nyt matriisi, jossa on ykkösiä ja nolleja. Kutsutaan tätä Follows-matriisiksi (F). Tässä kohtaa asia muuttuu mielenkiintoiseksi: Löytääkö ketä Maryn ystävät seuraavat? Perinteisessä graafitietokannassa hyppäät kahdesti: Mary → ystäviä → ystävien ystäviä. Mutta matriiseilla kerrotaan Seuraavan matriisi itsellään: F × F = F². Tämä vaatii vain yhden leikkauksen, ja olet valmis! Samoin monimutkainen kuvio kuten "A seuraa B:tä, B pitää C:stä" muuttuu: Seuraa × Tykkää. Tämä tarkoittaa, että voit esittää liikkumisen matemaattisina operaatioina. Miksi tämä on tärkeää: - Matriisioperaatioita on optimoitu 50+ vuotta - Nykyaikainen laitteisto (CPU/GPU:t) on rakennettu matriisien murskaamiseen - Operaatiot suoritetaan rinnakkain (osoitinten jahtaaminen ei yksinkertaisesti onnistu) Vaikka optimointia tarvitaan vielä muutamia (kuten harvat matriiseet, C-kielellä kirjoitetut jne.), tämä lähestymistapa tekee FalkorDB:stä 496x nopeamman kuin Neo4j. Alla oleva kaavio osoittaa tämän eron selvästi. Perinteiset graafitietokannat kulkevat Cypher QL:n → Pointer-Based Traversalin kautta, kun taas FalkorDB käyttää Matrix-Aware Planneria, joka muuntaa kyselyt matriisioperaatioiksi. FalkorDB perustuu täysin tähän periaatteeseen: - Natiivi Redis-moduuli (muistissa, erittäin nopea) - Powered by GraphBLAS harvakseltaan matriisioperaatioille - Automaattisesti kääntää Cypher-kyselyt matriisialgebraksi Tämä on valtavan tärkeää tekoälysovelluksissa, koska... Nykyaikaisten tekoälyagenttien ja RAG-järjestelmien täytyy navigoida monimutkaisissa suhteissa reaaliajassa. Kun agentti perustelee tietograafin avulla, yhdistäen käyttäjät toimintoihin ja lopputuloksiin, jokainen viive millisekunti kasvaa. Vektoritietokannat kuvaavat semanttista samankaltaisuutta. Mutta he kaipaavat eksplisiittisiä ihmissuhteita. Tietokaaviot täyttävät tämän aukon. Ja kun agenttisi tarvitsee suorittaa monihyppypäättelyä tuhansien yhdistettyjen entiteettien välillä, matriisipohjainen läpikäynti helpottaa tekoälysovelluksen skaalaamista ilman viivepullonkauloja. FalkorDB on 100 % avoimen lähdekoodin, ja voit nähdä koko toteutuksen GitHubissa ja kokeilla itse. Olen jakanut linkin heidän GitHub-varastoonsa vastauksissa.

8 tekoälymalliarkkitehtuuria, visuaalisesti selitettynä: Kaikki puhuvat LLM:istä, mutta on olemassa kokonainen perhe erikoistuneita malleja, jotka tekevät uskomattomia asioita. Tässä nopea yhteenveto: 1. LLM (Suuret kielimallit) Teksti menee sisään, tokenisoidaan upotuksiin, käsitellään muuntajien kautta, ja teksti tulee ulos. ↳ GPT, Claude, Kaksoset, Llama. 2. LCM (Large Concept Models) Toimii konseptitasolla, ei tokeneilla. Syöte jaetaan lauseiksi, kuljetetaan SONAR-upotusten kautta ja käytetään diffuusiota ennen tulostamista. ↳ Metan LCM on edelläkävijä. 3. LAM (Suuret toimintamallit) Muuttaa aikomuksen toiminnaksi. Syöte kulkee havainnon, intentiontunnistuksen, tehtävien jakamisen ja sitten toimintojen suunnittelun kautta muistin avulla ennen suoritusta. ↳ Rabbit R1, Microsoft UFO, Claude Tietokoneen käyttö. 4. MoE (asiantuntijoiden sekoitus) Reititin päättää, ketkä erikoistuneet "asiantuntijat" käsittelevät kyselysi. Vain asiaankuuluvat asiantuntijat aktivoituvat. Tulokset käyvät läpi valinnan ja käsittelyn. ↳ Mixtral, GPT-4, DeepSeek. 5. VLM (Näkö-kielimallit) Kuvat kulkevat vision enkooderin läpi, teksti tekstikooderin läpi. Molemmat sulautuvat multimodaaliseen prosessoriin, minkä jälkeen kielimalli tuottaa ulostulon. ↳ GPT-4V, Gemini Pro Vision, LLaVA. 6. SLM (pienet kielimallit) LLM:t, jotka on optimoitu reunalaitteille. Kompakti tokenisointi, tehokkaat muuntajat ja kvantisointi paikalliseen käyttöönottoon. ↳ Phi-3, Gemma, Mistral 7B, Llama 3.2 1B. 7. MLM (Naamioitujen kielten mallit) Tokenit naamioidaan, muunnetaan upotuksiksi ja käsitellään sitten kaksisuuntaisesti piilotettujen sanojen ennustamiseksi. ↳ BERT, RoBERTa, DeBERTa voimahaku ja tunneanalyysi. 8. SAM (Segment Anything -mallit) Kehotteet ja kuvat kulkevat erillisten kooderien läpi, syötetään maskin dekooderiin pikselitäydellisen segmentoinnin tuottamiseksi. ↳ Metan SAM mahdollistaa valokuvien muokkauksen, lääketieteellisen kuvantamisen ja autonomisten ajoneuvojen. Mitä muuta lisäisit? 👉 Seuraavassa twiitissäni olen jakanut uusimman tekoälytekniikan oppaani (380+ sivua), jossa on 150+ ydinoppituntia. Kaikki on 100 % avoimen lähdekoodin (25 000+ tähteä 🌟)