Il ne suffit pas de collecter des données de manipulation pour les robots - ils doivent être capables de se déplacer dans le monde, ce qui présente un tout autre ensemble de défis par rapport à la manipulation pure. Et rassembler la navigation et la manipulation dans un cadre unique est encore plus difficile. Entrez HERMES, de @fancy_yzc et @still_wtm. C'est un processus en quatre étapes dans lequel des vidéos humaines sont utilisées pour mettre en place un pipeline d'entraînement RL sim-to-real afin de surmonter les différences entre la cinématique des robots et celle des humains, et utilisé avec un modèle de fondation de navigation pour se déplacer dans une variété d'environnements. Pour en savoir plus, rejoignez-nous alors que @fancy_yzc et @still_wtm nous expliquent comment ils ont construit leur système pour effectuer une manipulation mobile et habile à partir de vidéos humaines dans une variété d'environnements. Regardez l'épisode #45 de RoboPapers aujourd'hui, animé par @micoolcho et @chris_j_paxton !

Les robots marcheurs peuvent faire toutes sortes de choses passionnantes comme danser, courir et pratiquer les arts martiaux — mais pour qu'ils soient utiles, ils doivent être capables d'utiliser leurs jambes pour gérer le terrain, pour se déplacer sur des obstacles et non pas seulement autour d'eux. Alors, comment pouvons-nous mieux entraîner des politiques de marche pour les robots à pattes ? @ChongZitaZhang nous en parle. Regardez l'épisode #43 de RoboPapers, animé par @micoolcho et @chris_j_paxton, maintenant, pour en savoir plus.

Avec suffisamment de données, les robots et l'IA peuvent apprendre des "modèles du monde" qui leur permettent de prédire les résultats de leurs actions. Ces modèles sont un moyen d'apprendre comment les agents IA incarnés peuvent effectuer une grande variété de tâches utiles — mais ils nécessitent une énorme quantité de données. L'équipe de General Intuition @gen_intuition a une solution : utiliser des données provenant de jeux vidéo ! Les jeux enseignent le mouvement, la résolution de problèmes et le raisonnement spatial complexe, et ils se présentent sous une diversité stupéfiante de formes, couvrant une grande variété de problèmes. De plus, les données capturées sont de haute qualité, sans le bruit ou les erreurs d'annotation qui peuvent survenir. Nous avons rencontré @PimDeWitte et @AdamJelley2 de l'équipe de General Intuition pour en savoir plus sur leur histoire, leurs projets et leur philosophie.