⭐️ π₀-FAST 現在在 LeRobot 中 ⭐️ 我很高興能分享我在 @LeRobotHF 的最新工作：將 π₀-FAST 完全整合到堆疊中。 原始的 Pi-FAST 實現僅在 JAX 中可用，因此我們在 PyTorch 中重建了它，從 π₀ 開始，包括交叉熵損失目標、FAST 令牌化方案，以及 KV 緩存等推理優化。 π₀-FAST 是迄今為止最先進的自回歸視覺-語言-行動模型，由 @physical_int 提供。它包括一個內建的行動令牌器 FAST，將連續行動轉換為離散令牌（如 JPEG 壓縮）。 這意味著 π₀-FAST 可以使用 LLM 風格的下一個令牌預測進行訓練。 一旦所有內容都是令牌，社區將開啟許多機會： > 輕鬆地在數據集、實現，甚至新的令牌類型（邊界框、語言、本體感知；這都是令牌）上使用下一個令牌目標預訓練 π₀-FAST。請注意，下一個令牌預測的訓練速度約為擴散或流匹配的 5 倍。 > 重用相同的權重，並在您的目標任務上使用流匹配目標進行微調，以加快推理速度。 您還可以使用 `lerobot-train-tokenizer` 命令在任何 LeRobot 數據集上訓練自己的 FAST 令牌器。太酷了。 在系統方面，我們在推理中添加了 LLM 風格的 KV 緩存，為自回歸解碼提供了約 5 倍的加速。 我們在 LIBERO 上進行了評估，並在 40k 步時達到了 82.5% 的成功率（比去年首次移植時的約 40% 有所提升）。 這為混合 AR + 流匹配食譜和 π₀.₅ 風格的知識隔離在 LeRobot 中奠定了基礎。 👉 文檔： 🤖 Pi0Fast 基礎檢查點：