La atención de la ventana corrediza (SWA) está impulsando la eficiencia de los modelos híbridos de frontera. ¿Hay algo mejor? Presentamos Phalanx, un reemplazo directo más rápido y de mejor calidad para la atención de ventanas corredizas (SWA). Phalanx es una nueva familia de capas de ventanas con reconocimiento numérico y de hardware diseñadas con un enfoque en la localidad de datos y ventanas irregulares alineadas con bloques que se asignan directamente a las GPU. En el entrenamiento, Phalanx ofrece un rendimiento de extremo a extremo entre un 10 y un 40 % mayor en longitudes de contexto de 4K a 32K en comparación con los híbridos SWA y los transformadores optimizados al reducir la costosa comunicación entre distorsiones. Hoy, estamos lanzando tanto el informe técnico, un blog y los kernels de Phalanx en spear, nuestra biblioteca de kernels de investigación. Estamos contratando.