Google acaba de publicar "Atención es todo lo que necesitas (V2)" Este artículo podría resolver el mayor problema de la IA: Olvido catastrófico. Cuando los modelos de IA aprenden algo nuevo, tienden a olvidar lo que ya habían aprendido. Los humanos no funcionan así, y ahora Google Research tiene una solución. Aprendizaje anidado. Este es un nuevo paradigma de aprendizaje automático que trata los modelos como un sistema de problemas de optimización interconectados que se ejecutan a diferentes velocidades, igual que nuestro cerebro procesa la información. Aquí está la razón por la que esto importa: Los LLMs no aprenden de las experiencias; Siguen limitados a lo que aprendieron durante el entrenamiento. No pueden aprender ni mejorar con el tiempo sin perder conocimientos previos. El aprendizaje anidado cambia esto al ver la arquitectura del modelo y el algoritmo de entrenamiento como lo mismo, solo que diferentes "niveles" de optimización. El artículo presenta Hope, una arquitectura de prueba de concepto que demuestra este enfoque: ↳ Hope supera a los modelos recurrentes modernos en tareas de modelado de lenguaje ↳ Maneja mejor la memoria de contexto largo que los modelos de última generación ↳ Esto se logra mediante "sistemas de memoria continua" que se actualizan a diferentes frecuencias Esto es similar a cómo nuestro cerebro gestiona simultáneamente la memoria a corto y largo plazo. Quizá por fin estemos cerrando la brecha entre la IA y la capacidad del cerebro humano para aprender continuamente. ¡He compartido el enlace al artículo en el próximo tuit!