Google только что выпустил "Внимание — это всё, что вам нужно (V2)" Эта статья может решить самую большую проблему ИИ: Катастрофическое забывание. Когда модели ИИ учатся чему-то новому, они, как правило, забывают то, что выучили ранее. Люди не работают таким образом, и теперь у Google Research есть решение. Nested Learning. Это новая парадигма машинного обучения, которая рассматривает модели как систему взаимосвязанных задач оптимизации, работающих на разных скоростях — так же, как наш мозг обрабатывает информацию. Вот почему это важно: LLM не учатся на опыте; они остаются ограниченными тем, что выучили во время обучения. Они не могут учиться или улучшаться со временем, не теряя предыдущие знания. Nested Learning меняет это, рассматривая архитектуру модели и алгоритм обучения как одно и то же — просто разные "уровни" оптимизации. Статья представляет Hope, архитектуру, подтверждающую этот подход: ↳ Hope превосходит современные рекуррентные модели в задачах языкового моделирования ↳ Она лучше справляется с памятью долгого контекста, чем модели на переднем крае ↳ Это достигается за счет "систем памяти континуума", которые обновляются с разной частотой Это похоже на то, как наш мозг управляет краткосрочной и долгосрочной памятью одновременно. Мы, возможно, наконец, сокращаем разрыв между ИИ и способностью человеческого мозга постоянно учиться. Я поделился ссылкой на статью в следующем твите!