Sliding window attention (SWA) mendukung model hibrida perbatasan untuk efisiensi. Apakah ada yang lebih baik? Memperkenalkan Phalanx, pengganti drop-in yang lebih cepat dan berkualitas lebih baik untuk perhatian jendela geser (SWA). Phalanx adalah keluarga baru perangkat keras dan lapisan jendela sadar numerik yang dirancang dengan fokus pada lokalitas data dan jendela bergerigi dan sejajar blok yang memetakan langsung ke GPU. Dalam pelatihan, Phalanx memberikan throughput end-to-end 10–40% lebih tinggi pada panjang konteks 4K–32K dibandingkan SWA-hibrida dan Transformer yang dioptimalkan dengan mengurangi komunikasi antar-warp yang mahal. Hari ini, kami merilis laporan teknis, blog, dan kernel Phalanx di spear, perpustakaan kernel penelitian kami. Kami sedang merekrut.