Ini adalah perhatian kilat ke depan: 'TestPcontig.test_flash_attention' Bahkan tidak ada "sekering" di sekitarnya, polanya jelas dari aliran data. Mundur tidak ada dua trik: output q.grad dan k.grad bersama-sama dan memilih untuk menghitung ulang matriks skor alih-alih menyimpannya.

Setelah perhatian kilat mundur otomatis, bayangkan pola lain yang akan ditemukan ini. Untuk kecepatan, kami sedang mengerjakan umpan seperti anak kucing yang memecah semuanya menjadi ubin 16x16. Tidak ada lagi alasan tentang "penduduk setempat", yang merupakan penawaran Triton juga.

Apakah orang tahu cara membaca diagram ini? Dibandingkan dengan postingan dengan kode, postingan ini tidak mendapatkan banyak daya tarik, tetapi saya menemukan diagram jauh lebih mudah untuk dipikirkan.