⭐️ π₀-FAST on nyt LeRobotissa ⭐️ Olen innoissani voidessani jakaa uusimman työni vuonna @LeRobotHF: tuoda π₀-FASTin kokonaan pinoon. Alkuperäinen Pi-FAST-toteutus oli saatavilla vain JAX:ssa, joten rakensimme sen uudelleen PyTorchissa alkaen π₀:stä, mukaan lukien ristientropian häviötavoite, FAST-tokenisointimenetelmä ja päättelyoptimointi kuten KV-välimuisti. π₀-FAST on tähän mennessä @physical_int edistynein autoregressiivinen näkö-kieli-toimintamalli. Se sisältää sisäänrakennetun toimintotokenisaattorin, FAST, joka muuttaa jatkuvat toiminnot erillisiksi tokeneiksi (kuten JPEG-pakkaus). Tämä tarkoittaa, että π₀-FASTia voidaan kouluttaa LLM-tyylisellä seuraavan tokenin ennustamisella. Kun kaikki on tokeneita, yhteisölle avautuu paljon ovia: > Esikouluta π₀-FAST helposti seuraavan tokenin tavoitteella tietoaineistojen, toteutusten ja jopa uusien tokenityyppien (rajaavat laatikot, kieli, proprioseptio; kaikki ovat tokeneita) välillä. Huomaa, että seuraavan tokenin ennustuskoulutus harjoittelee ~5× nopeammin kuin diffuusio tai virtaussovitus. > Käytä samoja painoja uudelleen ja hienosäädä flow-matching -tavoitteella tavoitetehtävässäsi nopeampaa päättelyä varten. Voit myös kouluttaa oman FAST-tokenisaattorisi millä tahansa LeRobot-aineistolla käyttämällä 'lerobot-train-tokenizer' -komentoa. Niin siistiä. Järjestelmäpuolella lisäsimme LLM-tyylisen KV-välimuistin päättelyssä, mikä antaa ~5× nopeutuksen autoregressiiviseen dekoodaukseen. Arvioimme LIBEROlla ja saavutimme 82,5 % onnistumisen @ 40 000 askelta (nousua ~40 %:sta, kun se siirrettiin ensimmäisen kerran viime vuonna). Tämä luo pohjan hybridille AR + virtausyhteensopivuusresepteille ja π₀.₅-tyyliselle tiedoneristykselle LeRobotissa. 👉 Dokumentit: 🤖 Pi0Fast-tukikohdan tarkistuspiste: