Google juuri pudotti "Attention is all you need (V2)" Tämä artikkeli voisi ratkaista tekoälyn suurimman ongelman: Katastrofaalinen unohtaminen. Kun tekoälymallit oppivat jotain uutta, ne unohtavat yleensä aiemmin oppimansa asiat. Ihmiset eivät toimi näin, ja nyt Google Researchilla on ratkaisu. Sisäkkäinen oppiminen. Tämä on uusi koneoppimisparadigma, joka käsittelee malleja toisiinsa kytkeytyneinä optimointiongelmien järjestelmänä, jotka toimivat eri nopeuksilla – aivan kuten aivomme käsittelevät tietoa. Tässä syy, miksi tämä on tärkeää: LLM:t eivät opi kokemuksistaan; He ovat edelleen rajattuja siihen, mitä he oppivat koulutuksen aikana. He eivät voi oppia tai kehittyä ajan myötä menettämättä aiempaa tietoa. Nested Learning muuttaa tämän näkemällä mallin arkkitehtuurin ja koulutusalgoritmin samana asiana – vain eri "optimointitasoina". Artikkelissa esitellään Hope, konseptin todistamiseen perustuva arkkitehtuuri, joka havainnollistaa tätä lähestymistapaa: ↳ Hope päihittää nykyaikaiset toistuvat mallit kielimallinnustehtävissä ↳ Se käsittelee pitkän kontekstin muistia paremmin kuin huippuluokan mallit ↳ Tämä saavutetaan "jatkuvan muistijärjestelmien" avulla, jotka päivittyvät eri taajuuksilla Tämä on samankaltaista kuin aivomme hallitsevat lyhytaikaista ja pitkäaikaista muistia samanaikaisesti. Saatamme vihdoin kaventaa kuilua tekoälyn ja ihmisaivojen jatkuvan oppimiskyvyn välillä. Olen jakanut linkin artikkeliin seuraavassa twiitissä!