這是閃電注意力前向：`TestPcontig.test_flash_attention` 甚至沒有 "fuse"，從數據流中模式顯而易見。 反向缺少兩個技巧：q.grad 和 k.grad 的輸出一起，以及選擇重新計算分數矩陣而不是保存它。

一旦反向閃光注意變得自動化，想像一下這將發現的其他模式。 為了速度，我們正在研究一種類似 thunderkittens 的通過方式，將一切分解為 16x16 的區塊。不再需要考慮 "locals"，這是 Triton 的產品。

人們知道如何閱讀這些圖表嗎？與那些有代碼的帖子相比，這些帖子並沒有獲得太多關注，但我覺得這個圖表更容易理解。