🚀Новинка от Meta FAIR: сегодня мы представляем Seamless Interaction — исследовательский проект, посвященный моделированию межличностной динамики. Проект включает в себя семейство аудиовизуальных поведенческих моделей, разработанных в сотрудничестве с лабораторией Codec Avatars + Core AI lab, которые преобразовывают речь между двумя людьми в разнообразные, выразительные жесты всего тела и активное поведение слушания, позволяя создавать полностью воплощенные аватары в 2D и 3D. Эти модели имеют потенциал для создания более естественных, интерактивных виртуальных агентов, которые могут участвовать в социальных взаимодействиях, подобных человеческим, в различных условиях. Подробнее:

Мы также публично выпускаем набор данных Seamless Interaction Dataset с 4 000+ участниками и 4 000+ часами взаимодействий, что делает его крупнейшим известным набором данных видео в своем роде. Этот набор данных позволяет нашим аудиовизуальным поведенческим моделям понимать и генерировать социальное поведение, подобное человеческому, и представляет собой важную ступень к пониманию и моделированию того, как люди общаются и ведут себя, когда они вместе. Мы делимся им здесь, чтобы помочь исследовательскому сообществу продвинуться в своей работе:

И ещё... Вы также можете ознакомиться с этим техническим отчетом, в котором подробно изложена наша методология построения моделей движения на основе набора данных, а также структура оценки для этого типа моделей:

Перейдите в наш блог, чтобы узнать больше подробностей: