⭐️ π₀-FAST está ahora en LeRobot ⭐️ Estoy emocionado de compartir mi último trabajo en @LeRobotHF: incorporar completamente π₀-FAST a la pila. La implementación original de Pi-FAST solo estaba disponible en JAX, así que la reconstruimos en PyTorch, empezando por π₀, incluyendo el objetivo de pérdida de entropía cruzada, el esquema de tokenización FAST y optimizaciones de inferencia como el KV-caching. π₀-FAST es el modelo Visión-Lenguaje-Acción autoregresivo más avanzado hasta la fecha según @physical_int. Incluye un tokenizador de acciones incorporado, FAST, que convierte acciones continuas en tokens discretos (como la compresión JPEG). Eso significa que π₀-FAST puede entrenarse con la predicción de next-token al estilo LLM. Una vez que todo es token, se abren muchas puertas para la comunidad: > Preentrenar fácilmente π₀-FAST con un objetivo de siguiente token a través de conjuntos de datos, embodiments e incluso nuevos tipos de tokens (cajas delimitadoras, lenguaje, propiocepción; todo son tokens). Ten en cuenta que la predicción del siguiente token se entrena ~5× más rápido que la difusión o el emparejamiento de flujo. > Reutiliza los mismos pesos y ajusta con un objetivo de ajuste de flujo en la tarea objetivo para una inferencia más rápida. También puedes entrenar tu propio tokenizador FAST en cualquier conjunto de datos de LeRobot usando el comando 'lerobot-train-tokenizer'. Qué guay. En el lado de sistemas, añadimos caché KV al estilo LLM en la inferencia, dando un aumento de velocidad del ~5× para la decodificación autorregresiva. Evaluamos en LIBERO y alcanzamos un 82,5% de éxito @ 40.000 pasos (frente al ~40% cuando se portó por primera vez el año pasado). Esto prepara el terreno para recetas híbridas de AR + adaptación de flujo y aislamiento de conocimiento al estilo π₀.₅ dentro de LeRobot. 👉 Documentación: 🤖 Punto de control base Pi0Fast: