スライディングウィンドウアテンション(SWA)は、効率を高めるフロンティアハイブリッドモデルを強化しています。もっと良いものはありますか? スライディングウィンドウアテンション(SWA)のより速く、より高品質のドロップイン代替品であるファランクスをご紹介します。 Phalanxは、データの局所性と、GPUに直接マッピングされるギザギザのブロックアラインウィンドウに重点を置いて設計された、ハードウェアと数値を意識したウィンドウレイヤーの新しいファミリーです。 トレーニングでは、Phalanxは、コストのかかるワープ間通信を削減することで、最適化されたSWAハイブリッドとトランスフォーマーよりも、4K〜32Kのコンテキスト長で10〜40%高いエンドツーエンドのスループットを実現します。 本日、技術レポート、ブログ、研究カーネルライブラリであるspearのPhalanxカーネルの両方をリリースします。 採用中です。