谷歌刚刚发布了《注意力即一切（V2）》 这篇论文可能解决了AI最大的难题： 灾难性遗忘。 当AI模型学习新东西时，它们往往会忘记之前学过的内容。人类并不是这样工作的，而现在谷歌研究有了一个解决方案。 嵌套学习。 这是一种新的机器学习范式，将模型视为一组以不同速度运行的相互关联的优化问题——就像我们的大脑处理信息的方式。 这为什么重要： 大型语言模型（LLMs）并不从经验中学习；它们仅限于训练期间学到的内容。它们无法在不失去先前知识的情况下学习或改进。 嵌套学习通过将模型的架构和训练算法视为同一事物——只是不同的“优化层次”——来改变这一点。 论文介绍了Hope，一个概念验证架构，展示了这种方法： ↳ Hope在语言建模任务上优于现代递归模型 ↳ 它比最先进的模型更好地处理长上下文记忆 ↳ 它通过以不同频率更新的“连续记忆系统”实现这一点 这类似于我们的大脑如何同时管理短期和长期记忆。 我们可能终于在缩小AI与人类大脑持续学习能力之间的差距。 我在下一条推文中分享了论文的链接！