Sliding window attention (SWA) driver avancerade hybridmodeller för effektivitet. Finns det något bättre? Vi introducerar Phalanx, en snabbare och bättre kvalitet som ersätter skjutfönstersuppmärksamhet (SWA). Phalanx är en ny familj av maskinvaru- och numeriska fönsterlager som är utformade med fokus på datalokalitet och ojämna, blockjusterade fönster som mappar direkt till GPU:er. Under träning levererar Phalanx 10–40 % högre genomströmning från början till slut vid 4K–32K kontextlängder jämfört med optimerade SWA-hybrider och transformatorer genom att minska kostsam kommunikation mellan varp. Idag släpper vi både den tekniska rapporten, en blogg och Phalanx kernels in spear, vårt bibliotek för forskningskärnor. Vi anställer.