Posuvné okno Attention (SWA) pohání hraniční hybridní modely pro zvýšení hospodárnosti. Je něco lepšího? Představujeme Phalanx, rychlejší a kvalitnější náhradu posuvných okenních pozorností (SWA). Phalanx je nová rodina hardwarových a numerických okenních vrstev navržených se zaměřením na datovou lokalitu a zubatá, blokově zarovnaná okna, která se mapují přímo na GPU. V rámci školení poskytuje Phalanx o 10–40 % vyšší end-to-end propustnost při délkách kontextu 4K–32K oproti optimalizovaným hybridům SWA a transformátorům tím, že snižuje nákladnou komunikaci mezi warpy. Dnes vydáváme technickou zprávu, blog a jádra Phalanx v naší knihovně výzkumných jader spear. Přijímáme nové zaměstnance.

Představujeme RND1, dosud nejvýkonnější základní difúzní jazykový model (DLM). RND1 (Radical Numerics Diffusion) je experimentální DLM s 30B parametry (3B aktivní) s řídkou architekturou MoE. Děláme to jako open source, uvolňujeme váhy, podrobnosti o tréninku a kód, abychom urychlili další výzkum inference DLM a post-tréninku. Jsme výzkumníci a inženýři (DeepMind, Meta, Liquid, Stanford), kteří vytvářejí motor pro rekurzivní sebezdokonalování (RSI) – a používáme jej k urychlení naší vlastní práce. Naším cílem je nechat umělou inteligenci navrhnout umělou inteligenci. Přijímáme nové zaměstnance.