Google heeft net "Attention is all you need (V2)" uitgebracht Dit paper zou het grootste probleem van AI kunnen oplossen: Catastrofaal vergeten. Wanneer AI-modellen iets nieuws leren, hebben ze de neiging om te vergeten wat ze eerder hebben geleerd. Mensen werken niet op deze manier, en nu heeft Google Research een oplossing. Geneste Leren. Dit is een nieuw paradigma voor machine learning dat modellen behandelt als een systeem van onderling verbonden optimalisatieproblemen die op verschillende snelheden draaien - net zoals onze hersenen informatie verwerken. Hier is waarom dit belangrijk is: LLM's leren niet van ervaringen; ze blijven beperkt tot wat ze tijdens de training hebben geleerd. Ze kunnen niet leren of verbeteren in de loop van de tijd zonder eerdere kennis te verliezen. Geneste Leren verandert dit door de architectuur van het model en het trainingsalgoritme als hetzelfde te beschouwen - gewoon verschillende "niveaus" van optimalisatie. Het paper introduceert Hope, een proof-of-concept-architectuur die deze benadering demonstreert: ↳ Hope presteert beter dan moderne recurrente modellen op taken voor taalmodellering ↳ Het gaat beter om met lange-context geheugen dan de meest geavanceerde modellen ↳ Het bereikt dit door "continuüm geheugen systemen" die op verschillende frequenties worden bijgewerkt Dit is vergelijkbaar met hoe onze hersenen tegelijkertijd kortetermijn- en langetermijngeheugen beheren. We zouden eindelijk de kloof kunnen dichten tussen AI en het vermogen van de menselijke hersenen om continu te leren. Ik heb de link naar het paper in de volgende tweet gedeeld!