Google släppte precis "Attention is all you need (V2)" Denna artikel kan lösa AI:s största problem: Katastrofal glömska. När AI-modeller lär sig något nytt tenderar de att glömma det de redan lärt sig. Människor fungerar inte på det här sättet, och nu har Google Research en lösning. Nästlad inlärning. Detta är ett nytt maskininlärningsparadigm som behandlar modeller som ett system av sammanlänkade optimeringsproblem som körs i olika hastigheter – precis som hur vår hjärna bearbetar information. Här är varför detta är viktigt: LLM lär sig inte av erfarenheter; De är fortfarande begränsade till vad de lärde sig under utbildningen. De kan inte lära sig eller förbättras över tid utan att förlora tidigare kunskaper. Nästlad inlärning ändrar detta genom att se modellens arkitektur och träningsalgoritm som samma sak – bara olika "nivåer" av optimering. Artikeln introducerar Hope, en proof-of-concept-arkitektur som demonstrerar detta tillvägagångssätt: ↳ Hope överträffar moderna återkommande modeller på språkmodelleringsuppgifter ↳ Den hanterar långkontextminne bättre än toppmoderna modeller ↳ Detta uppnås genom "kontinuerliga minnessystem" som uppdateras vid olika frekvenser Detta liknar hur vår hjärna hanterar korttids- och långtidsminne samtidigt. Vi kanske äntligen håller på att minska gapet mellan AI och den mänskliga hjärnans förmåga att ständigt lära sig. Jag har delat länken till artikeln i nästa tweet!