Скользящее окно внимания (SWA) обеспечивает работу передовых гибридных моделей для повышения эффективности. Есть ли что-то лучше? Представляем Phalanx, более быстрый и качественный заменитель скользящего окна внимания (SWA). Phalanx — это новая семья аппаратных и числовых оконных слоев, разработанных с акцентом на локальность данных и неровные, блочно-выравненные окна, которые напрямую сопоставляются с GPU. В процессе обучения Phalanx обеспечивает на 10–40% более высокую пропускную способность от начала до конца при длинах контекста от 4K до 32K по сравнению с оптимизированными гибридами SWA и Transformers, снижая дорогостоящую меж-ворк-коммуникацию. Сегодня мы выпускаем как технический отчет, так и блог, а также ядра Phalanx в spear, нашей библиотеке исследовательских ядер. Мы нанимаем.