🚀Nouveauté Meta FAIR : nous vous présentons aujourd’hui Seamless Interaction, un projet de recherche dédié à la modélisation de la dynamique interpersonnelle. Le projet présente une famille de modèles comportementaux audiovisuels, développés en collaboration avec le laboratoire Codec Avatars de Meta + le laboratoire Core AI, qui traduisent la parole entre deux individus en gestes diversifiés et expressifs de l’ensemble du corps et en comportements d’écoute active, permettant la création d’avatars entièrement incarnés en 2D et en 3D. Ces modèles ont le potentiel de créer des agents virtuels plus naturels et interactifs qui peuvent s’engager dans des interactions sociales de type humain dans une variété de contextes. Pour en savoir plus:

Nous publions également le Seamless Interaction Dataset, avec 4 000+ participants et 4 000+ heures d’interactions, ce qui en fait le plus grand ensemble de données vidéo connu de ce type. Cet ensemble de données permet à nos modèles comportementaux audiovisuels de comprendre et de générer des comportements sociaux de type humain, et représente un tremplin crucial pour comprendre et modéliser la façon dont les gens communiquent et se comportent lorsqu’ils sont ensemble. Nous le partageons ici pour aider le milieu de la recherche à faire avancer son travail :

Encore une chose... Vous pouvez également consulter ce rapport technique détaillant notre méthodologie pour construire des modèles de mouvement sur l’ensemble de données, ainsi qu’un cadre d’évaluation pour ce type de modèle :

Rendez-vous sur notre blog pour en savoir plus sur l’histoire complète :