Dette er flash oppmerksomhet fremover: 'TestPcontig.test_flash_attention' Det er ikke engang en "sikring" rundt den, mønsteret er åpenbart fra dataflyt. Bakover mangler to triks: utdata av q.grad og k.grad sammen og å velge å beregne poengmatrisen på nytt i stedet for å lagre den.

Når bakoverblikket er automatisk, kan du forestille deg de andre mønstrene dette vil oppdage. For fart jobber vi med en thunderkittens-lignende pasning som bryter alt i 16x16 brikker. Ikke mer resonnement om «lokalbefolkningen», som også er Tritons tilbud.

Vet folk hvordan de skal lese disse diagrammene? Sammenlignet med innleggene med kode får ikke disse innleggene mye trekkraft, men jeg synes diagrammet er mye lettere å tenke på.