Google właśnie opublikował "Attention is all you need (V2)" Ten artykuł może rozwiązać największy problem AI: Katastrofalne zapominanie. Kiedy modele AI uczą się czegoś nowego, mają tendencję do zapominania tego, czego wcześniej się nauczyły. Ludzie nie działają w ten sposób, a teraz Google Research ma rozwiązanie. Uczenie zagnieżdżone. To nowa paradygmat uczenia maszynowego, który traktuje modele jako system powiązanych problemów optymalizacyjnych działających z różnymi prędkościami - tak jak nasz mózg przetwarza informacje. Oto dlaczego to ma znaczenie: LLM-y nie uczą się z doświadczeń; pozostają ograniczone do tego, czego nauczyły się podczas treningu. Nie mogą uczyć się ani poprawiać w czasie bez utraty wcześniejszej wiedzy. Uczenie zagnieżdżone zmienia to, postrzegając architekturę modelu i algorytm treningowy jako to samo - po prostu różne "poziomy" optymalizacji. Artykuł wprowadza Hope, architekturę dowodową, która demonstruje to podejście: ↳ Hope przewyższa nowoczesne modele rekurencyjne w zadaniach modelowania języka ↳ Lepiej radzi sobie z pamięcią długokontekstową niż modele najnowocześniejsze ↳ Osiąga to dzięki "systemom pamięci ciągłej", które aktualizują się z różnymi częstotliwościami To jest podobne do tego, jak nasz mózg zarządza pamięcią krótkoterminową i długoterminową jednocześnie. Możemy w końcu zbliżać się do luki między AI a zdolnością ludzkiego mózgu do ciągłego uczenia się. Podzieliłem się linkiem do artykułu w następnym tweecie!