⭐️ π₀-FAST finns nu i LeRobot ⭐️ Jag är glad att dela med mig av mitt senaste arbete i @LeRobotHF: att ta π₀-FAST helt in i stacken. Den ursprungliga Pi-FAST-implementeringen fanns endast i JAX, så vi byggde om den i PyTorch, med start från π₀, inklusive korsentropiförlustmålet, FAST-tokeniseringsschemat och inferensoptimeringar som KV-caching. π₀-FAST är den mest avancerade autoregressiva Vision-Language-Action-modellen hittills av @physical_int. Den inkluderar en inbyggd aktionstokeniserare, FAST, som omvandlar kontinuerliga handlingar till diskreta tokens (som JPEG-komprimering). Det innebär att π₀-FAST kan tränas med LLM-liknande next-token-prediktion. När allt är tokens öppnas många dörrar för communityn: > Enkelt förträna π₀-FAST med ett nästa token-mål över dataset, embodiments och till och med nya tokentyper (bounding boxes, language, proprioception; det är alla tokens). Observera att next-token-prediktion tränar ~5× snabbare än diffusion eller flödesmatchning. > Återanvänd samma vikter och finjustera med ett flödesmatchande mål på din måluppgift för snabbare slutsatser. Du kan också träna din egen FAST-tokenizer på vilken LeRobot-dataset som helst med kommandot 'lerobot-train-tokenizer'. Så coolt. På systemsidan lade vi till LLM-liknande KV-caching vid inferens, vilket ger en hastighetsökning på ~5× för autoregressiv avkodning. Vi utvärderade på LIBERO och nådde 82,5 % framgång @ 40 000 steg (upp från ~40 % när det först portades förra året). Detta lägger grunden för hybrida AR+ flödesmatchningsrecept och π₀.₅-liknande kunskapsisolering inuti LeRobot. 👉 Dokumentation: 🤖 Pi0Fast baskontrollpunkt: