Система Sliding Window Attention (SWA) забезпечує ефективність гібридних моделей Frontier. Чи є щось краще? Представляємо Phalanx, швидшу та якіснішу заміну для розсувного вікна (SWA). Phalanx — це нове сімейство віконних шарів з урахуванням апаратного забезпечення та чисел, розроблених з акцентом на локальність даних та зубчасті, вирівняні блоки вікон, які відображаються безпосередньо на графічних процесорах. Під час тренувань Phalanx забезпечує на 10–40% вищу наскрізну пропускну здатність при довжині контексту 4K–32K порівняно з оптимізованими SWA-гібридами та трансформаторами, зменшуючи дорогий зв'язок між деформаціями. Сьогодні ми випускаємо як технічний звіт, блог, так і ядра Phalanx у нашій бібліотеці наукових ядер. Ми приймаємо на роботу.