Jag gillar verkligen den här forskningsinriktningen! Under en lång tid har jag pratat om analogin "brain vs. database" med SSM vs Transformers. En förlängning av detta som jag har nämnt i förbigående några gånger är att jag tror att kompromisserna förändras när vi börjar tänka på att bygga flerkomponentssystem snarare än enskilda modeller. Till exempel, om man prenumererar på intuitionen att moderna hybridmodeller använder SSM som den huvudsakliga "hjärnliknande" bearbetningsenheten medan uppmärksamheten främst är inriktad på "databasliknande" cachning för att hjälpa till med exakt hämtning, då antog jag att ett mer optimalt system kanske skulle kunna vara en ren SSM-språkmodell i kombination med explicita externa kunskapsdatabaser och kontextcacher. Detta är mycket mer analogt med människoliknande intelligens som främst drivs av hjärnan (en SSM) med hjälp av externa kunskapslager (böcker, internet) och verktygsanvändning. Denna uppsats visar ganska intressanta resultat som visar att SSM:er verkar ha mycket gynnsam prestanda jämfört med Transformers i denna regim av agentmodeller som arbetar med interaktiv verktygsanvändning. Kul att se intuitionen bekräftad, och jag hoppas att mer forskning fortsätter i denna riktning!