O Google acabou de publicar "Atenção é tudo que você precisa (V2)" Este artigo pode resolver o maior problema da IA: Esquecimento catastrófico. Quando modelos de IA aprendem algo novo, tendem a esquecer o que aprenderam antes. Os humanos não funcionam assim, e agora o Google Research tem uma solução. Aprendizado aninhado. Este é um novo paradigma de aprendizado de máquina que trata os modelos como um sistema de problemas de otimização interconectados rodando em velocidades diferentes – assim como nosso cérebro processa informações. Veja por que isso importa: LLMs não aprendem com as experiências; eles permanecem limitados ao que aprenderam durante o treinamento. Eles não conseguem aprender ou melhorar com o tempo sem perder conhecimento prévio. O Aprendizado Aninhado muda isso ao ver a arquitetura do modelo e o algoritmo de treinamento como a mesma coisa – apenas diferentes "níveis" de otimização. O artigo apresenta a Hope, uma arquitetura de prova de conceito que demonstra essa abordagem: ↳ A esperança supera modelos modernos recorrentes em tarefas de modelagem de linguagem ↳ Ele lida melhor com memória de contexto longo do que modelos de última geração ↳ Isso é alcançado por meio de "sistemas de memória contínua" que se atualizam em diferentes frequências Isso é semelhante à forma como nosso cérebro gerencia simultaneamente a memória de curto e longo prazo. Talvez finalmente estejamos fechando a distância entre a IA e a capacidade do cérebro humano de aprender continuamente. Compartilhei o link do artigo no próximo tweet!