Den här NVIDIA-artikeln knäckte precis mitt huvud. Alla pratar hela tiden om skalningstransformatorer med större kluster och smartare optimerare... samtidigt visade NVIDIA och Oxford precis att man kan träna miljard-parametermodeller med evolutionsstrategier, en metod som de flesta avfärdade som uråldrig. Tricket är ett nytt system som kallas EGGROLL, och det vänder hela kostnadsmodellen för ES. Normalt dör ES i stor skala eftersom du måste generera fullrankade perturbationsmatriser för varje populationsmedlem. För miljarder parametermodeller innebär det galen minnesrörelse och löjlig beräkning. Dessa löste det genom att generera låg-rangiga störningar med två smala matriser A och B och låta ABT fungera som uppdatering. Befolkningsgenomsnittet beter sig då som en fullständig rankuppdatering utan att betala fullrankningspriset. Resultatet? De kör evolutionsstrategier med populationsstorlekar på hundratusentals som ett antal tidigare arbeten inte kunde nå eftersom allt smälte under minnestrycket. Nu är genomströmningen i princip lika snabb som batchad inferens. Det är otänkbart för någon gradientfri metod. Matematiken stämmer också. Den låga rank-approximationen konvergerar mot den sanna ES-gradienten med en 1/r-hastighet, så att pressa ranken återskapar fullt ES-beteende utan den beräkningsmässiga explosionen. Men experimenten är där det blir galet. → De förtränar rekurrenta LM:er från grunden med endast heltalsdatatyper. Inga övergångar. Ingen ryggpropell. Helt stabil även vid hyperskala. → De matchar GRPO-nivåmetoder på LLM-resonemangsbenchmarks. Det innebär att ES kan konkurrera med moderna RL-för-resonemang-metoder på verkliga uppgifter. → ES blir plötsligt användbart för massiva, diskreta, hybrida och icke-differentierbara system på de exakta platser där backprop är smärtsamt eller omöjligt. ...