⭐️ π₀-FAST зараз у LeRobot ⭐️ Я з нетерпінням чекаю можливості поділитися своєю останньою роботою у @LeRobotHF: повним включенням π₀-FAST у стек. Оригінальна реалізація Pi-FAST була доступна лише в JAX, тому ми перебудували її в PyTorch, починаючи з π₀, включаючи цільову втрату ентропії, схему токенізації FAST та оптимізації висновків, такі як кешування KV. π₀-FAST є найсучаснішою авторегресивною моделлю Vision-Language-Action на сьогодні станом на @physical_int. Він містить вбудований токенайзер дій FAST, який перетворює безперервні дії на дискретні токени (наприклад, JPEG-компресію). Це означає, що π₀-FAST можна тренувати за допомогою прогнозування наступного токена у стилі LLM. Коли все стає токенами, для спільноти відкривається багато дверей: > Легко попередньо навчити π₀-FAST з наступною ціллю токена для наборів даних, впроваджень і навіть нових типів токенів (обмежувальні рамки, мова, пропріоцепція; все це токени). Зверніть увагу, що прогнозування наступного токена тренується на ~5× швидше, ніж дифузія або відповідність потоку. > Повторно використовуйте ті ж ваги та тонко налаштуйте завдання з узгодженням потоку для швидшого висновку. Ви також можете навчати власний FAST токенайзер на будь-якому наборі даних LeRobot, використовуючи команду 'lerobot-train-tokenizer'. Так круто. З боку систем ми додали LLM-стиль KV-кешування на інференсі, що дало прискорення авторегресивного декодування на ~5×. Ми оцінили на LIBERO і досягли 82,5% успіху @ 40 тисяч кроків (більше, ніж ~40% при першому портуванні минулого року). Це створює основу для гібридних рецептів AR + підбору потоку та ізоляції знань у стилі π₀.₅ всередині LeRobot. 👉 Документи: 🤖 Pi0Fast базовий контрольний пункт: