Aceasta este o atenție fulgerătoare: "TestPcontig.test_flash_attention" Nu există nici măcar o "siguranță" în jurul lui, modelul este evident din fluxul de date. Înapoi lipsesc două trucuri: ieșirea q.grad și k.grad împreună și alegerea de a recalcula matricea de scor în loc să o salveze.

Odată ce atenția fulgerătoare înapoi este automată, imaginați-vă celelalte modele pe care le va descoperi. Pentru viteză, lucrăm la o trecere de tip thunderkittens care sparge totul în cartonașe de 16x16. Gata cu raționamentul despre "localnici", care este și oferta lui Triton.

Oamenii știu cum să citească aceste diagrame? În comparație cu postările cu cod, aceste postări nu primesc prea multă tracțiune, dar mi se pare mult mai ușor să mă gândesc la diagramă.