Tämä on välähdys eteenpäin: "TestPcontig.test_flash_attention" Sen ympärillä ei ole edes "sulaketta", kuvio on ilmeinen tietovirrasta. Taaksepäin puuttuu kaksi temppua: q.gradin ja k.grad:n tuloste yhdessä ja pistematriisin uudelleenlaskeminen sen tallentamisen sijaan.

Kun taaksepäin välähtävä huomio on automaattista, kuvittele muita malleja, jotka tämä löytää. Nopeuden vuoksi työskentelemme thunderkittensin kaltaisen passin parissa, joka jakaa kaiken 16x16-laattoihin. Ei enää järkeilyä "paikallisista", mikä on myös Tritonin tarjonta.

Osaavatko ihmiset lukea näitä kaavioita? Koodilla varustettuihin viesteihin verrattuna nämä viestit eivät saa paljon pitoa, mutta minusta kaavio on paljon helpompi ajatella.