⭐️ π₀-FAST sekarang ada di LeRobot ⭐️ Saya senang membagikan karya terbaru saya di @LeRobotHF: membawa π₀-FAST sepenuhnya ke dalam tumpukan. Implementasi Pi-FAST asli hanya tersedia di JAX, jadi kami membangunnya kembali di PyTorch, mulai dari π₀, termasuk tujuan kehilangan entropi silang, skema tokenisasi FAST, dan pengoptimalan inferensi seperti KV-caching. π₀-FAST adalah model Vision-Language-Action autoregresif paling canggih hingga saat ini berdasarkan @physical_int. Ini termasuk tokenizer tindakan bawaan, FAST, yang mengubah tindakan berkelanjutan menjadi token diskrit (seperti kompresi JPEG). Itu berarti π₀-FAST dapat dilatih dengan prediksi token berikutnya gaya LLM. Setelah semuanya menjadi token, banyak pintu terbuka untuk komunitas: > Pralatih π₀-FAST dengan mudah dengan tujuan token berikutnya di seluruh kumpulan data, perwujudan, dan bahkan jenis token baru (kotak pembatas, bahasa, proprioception; semuanya token). Perhatikan bahwa prediksi token berikutnya berlatih ~5× lebih cepat daripada difusi atau pencocokan aliran. > Gunakan kembali bobot yang sama dan sesuaikan dengan tujuan pencocokan alur pada tugas target Anda untuk inferensi yang lebih cepat. Anda juga dapat melatih tokenizer FAST Anda sendiri pada kumpulan data LeRobot apa pun menggunakan perintah 'lerobot-train-tokenizer'. Sangat keren. Di sisi sistem, kami menambahkan KV-caching gaya LLM pada inferensi, memberikan percepatan ~5× untuk decoding regresif otomatis. Kami mengevaluasi LIBERO dan mencapai 82,5% keberhasilan @ 40k langkah (naik dari ~40% saat pertama kali di-porting tahun lalu). Ini mengatur panggung untuk resep pencocokan aliran AR + hibrida dan insulasi pengetahuan bergaya π₀.₅ di dalam LeRobot. 👉 Dokumen: 🤖 Pos pemeriksaan dasar Pi0Fast: