L'attention par fenêtre glissante (SWA) alimente des modèles hybrides de pointe pour l'efficacité. Y a-t-il quelque chose de mieux ? Nous vous présentons Phalanx, un remplacement plus rapide et de meilleure qualité pour l'attention par fenêtre glissante (SWA). Phalanx est une nouvelle famille de couches fenêtrées conscientes du matériel et des numéros, conçues avec un accent sur la localité des données et des fenêtres en blocs irréguliers, alignées sur des blocs qui se mappent directement aux GPU. Lors de l'entraînement, Phalanx offre un débit de bout en bout supérieur de 10 à 40 % à des longueurs de contexte de 4K à 32K par rapport aux hybrides SWA optimisés et aux Transformers, en réduisant la communication inter-warp coûteuse. Aujourd'hui, nous publions à la fois le rapport technique, un blog et les noyaux Phalanx dans spear, notre bibliothèque de noyaux de recherche. Nous recrutons.