Це миттєва увага: «TestPcontig.test_flash_attention» Навколо нього навіть немає «запобіжника», закономірність очевидна з потоку даних. У зворотному напрямку не вистачає двох хитрощів: виведення q.grad і k.grad разом і вибір переобчислення матриці балів замість її збереження.

Як тільки увага зворотного спалаху стане автоматичною, уявіть собі інші закономірності, які це виявить. Для швидкості ми працюємо над пасом, схожим на громовержця, який розбиває все на плитки 16x16. Більше ніяких міркувань про «місцевих», що також є пропозицією Тритона.

Чи вміють люди читати ці схеми? У порівнянні з постами з кодом, ці пости не отримують великої популярності, але я вважаю, що діаграма набагато простіша для сприйняття.