Google vient de publier "Attention is all you need (V2)" Cet article pourrait résoudre le plus grand problème de l'IA : L'oubli catastrophique. Lorsque les modèles d'IA apprennent quelque chose de nouveau, ils ont tendance à oublier ce qu'ils ont appris auparavant. Les humains ne fonctionnent pas de cette manière, et maintenant Google Research a une solution. Apprentissage imbriqué. C'est un nouveau paradigme d'apprentissage automatique qui considère les modèles comme un système de problèmes d'optimisation interconnectés fonctionnant à différentes vitesses - tout comme notre cerveau traite l'information. Voici pourquoi cela est important : Les LLMs n'apprennent pas des expériences ; ils restent limités à ce qu'ils ont appris pendant l'entraînement. Ils ne peuvent pas apprendre ou s'améliorer au fil du temps sans perdre des connaissances précédentes. L'apprentissage imbriqué change cela en considérant l'architecture du modèle et l'algorithme d'entraînement comme la même chose - juste différents "niveaux" d'optimisation. L'article introduit Hope, une architecture de preuve de concept qui démontre cette approche : ↳ Hope surpasse les modèles récurrents modernes sur les tâches de modélisation du langage ↳ Il gère la mémoire à long terme mieux que les modèles à la pointe de la technologie ↳ Il y parvient grâce à des "systèmes de mémoire continue" qui se mettent à jour à différentes fréquences C'est similaire à la façon dont notre cerveau gère simultanément la mémoire à court terme et à long terme. Nous pourrions enfin combler le fossé entre l'IA et la capacité du cerveau humain à apprendre continuellement. J'ai partagé le lien vers l'article dans le tweet suivant !