僅僅收集操控數據對於機器人來說是不夠的——它們需要能夠在世界中移動，這與純粹的操控面臨著完全不同的挑戰。而將導航和操控結合在一個框架中則更加具有挑戰性。 進入 HERMES，來自 @fancy_yzc 和 @still_wtm。這是一個四階段的過程，其中使用人類視頻來設置 RL 模擬到現實的訓練管道，以克服機器人和人類運動學之間的差異，並與導航基礎模型一起使用，以便在各種環境中移動。 想了解更多，請加入我們，@fancy_yzc 和 @still_wtm 將告訴我們他們如何構建系統，以便在各種環境中從人類視頻執行移動靈巧操控。 今天觀看 RoboPapers 第 45 集，由 @micoolcho 和 @chris_j_paxton 主持！

行走機器人可以做各種令人興奮的事情，比如跳舞、跑步和武術——但要讓它們有用，它們必須能夠利用腿部應對地形，跨越障礙物，而不僅僅是繞過它們。那麼，我們如何才能最好地訓練行走機器人的行走策略呢？@ChongZitaZhang 會告訴我們如何。 現在就來觀看由 @micoolcho 和 @chris_j_paxton 主持的 RoboPapers 第43集，了解更多資訊。

有了足夠的數據，機器人和AI可以學習“世界模型”，讓它們預測行動的結果。這些模型是一種學習具身AI代理如何執行各種有用任務的方法——但它們需要大量的數據。 General Intuition 團隊 @gen_intuition 有一個解決方案：使用來自視頻遊戲的數據！遊戲教會了運動、問題解決和複雜的空間推理，並且它們以驚人的多樣性形式出現，涵蓋了各種問題。更重要的是，捕獲的數據是高質量的，沒有來自 我們與 General Intuition 團隊的 @PimDeWitte 和 @AdamJelley2 坐下來，了解更多關於他們的歷史、計劃和哲學。