Google tocmai a lansat "Atenția este tot ce ai nevoie (V2)" Această lucrare ar putea rezolva cea mai mare problemă a AI: Uitare catastrofală. Când modelele AI învață ceva nou, tind să uite ce au învățat anterior. Oamenii nu funcționează așa, iar acum Google Research are o soluție. Învățare imbricată. Aceasta este o nouă paradigmă de învățare automată care tratează modelele ca pe un sistem de probleme de optimizare interconectate care rulează la viteze diferite – exact cum creierul nostru procesează informația. Iată de ce contează acest lucru: LLM-urile nu învață din experiențe; Ei rămân limitați la ceea ce au învățat în timpul antrenamentului. Nu pot învăța sau îmbunătăți în timp fără să piardă cunoștințele anterioare. Nested Learning schimbă acest lucru prin faptul că arhitectura modelului și algoritmul de antrenament sunt același lucru – doar "niveluri" diferite de optimizare. Articolul prezintă Hope, o arhitectură proof-of-concept care demonstrează această abordare: ↳ Hope depășește modelele moderne recurente în sarcinile de modelare a limbajului ↳ Gestionează memoria cu context lung mai bine decât modelele de ultimă generație ↳ Realizează acest lucru prin "sisteme de memorie continuă" care se actualizează la frecvențe diferite Acest lucru este similar cu modul în care creierul nostru gestionează simultan memoria pe termen scurt și cea pe termen lung. S-ar putea să reducem în sfârșit distanța dintre AI și capacitatea creierului uman de a învăța continuu. Am împărtășit linkul către ziar în următorul tweet!