Мне действительно нравится это направление исследований! Долгое время я говорил о аналогии "мозг против базы данных" SSM против Трансформеров. Расширение этой темы, о которой я упоминал вскользь несколько раз, заключается в том, что я думаю, что компромиссы меняются, когда мы начинаем думать о создании многокомпонентных *систем*, а не отдельных моделей. Например, если кто-то придерживается интуиции, что современные гибридные модели используют SSM в качестве основного "мозгоподобного" процессора, в то время как внимание в основном предназначено для "базоподобного" кэширования, чтобы помочь с точным извлечением, тогда я предположил, что, возможно, более оптимальной системой могла бы быть чистая языковая модель SSM, объединенная с явными внешними базами знаний и кэшами контекста. Это гораздо более похоже на человеческий интеллект, который в основном управляется мозгом (SSM), поддерживаемым внешними хранилищами знаний (книги, интернет) и использованием инструментов. Эта статья показывает довольно интересные результаты, что SSM действительно, похоже, имеют очень благоприятные показатели по сравнению с Трансформерами в этом режиме агентных моделей, работающих с интерактивным использованием инструментов. Рад видеть, что интуиция подтверждена, и надеюсь, что дальнейшие исследования продолжатся в этом направлении!