Den här NVIDIA-artikeln knäckte precis mitt huvud. Alla pratar hela tiden om skalningstransformatorer med större kluster och smartare optimerare... samtidigt visade NVIDIA och Oxford precis att man kan träna miljard-parametermodeller med evolutionsstrategier, en metod som de flesta avfärdade som uråldrig. Tricket är ett nytt system som kallas EGGROLL, och det vänder hela kostnadsmodellen för ES. Normalt dör ES i stor skala eftersom du måste generera fullrankade perturbationsmatriser för varje populationsmedlem. För miljarder parametermodeller innebär det galen minnesrörelse och löjlig beräkning. Dessa löste det genom att generera låg-rangiga störningar med två smala matriser A och B och låta ABT fungera som uppdatering. Befolkningsgenomsnittet beter sig då som en fullständig rankuppdatering utan att betala fullrankningspriset. Resultatet? De kör evolutionsstrategier med populationsstorlekar på hundratusentals som ett antal tidigare arbeten inte kunde nå eftersom allt smälte under minnestrycket. Nu är genomströmningen i princip lika snabb som batchad inferens. Det är otänkbart för någon gradientfri metod. Matematiken stämmer också. Den låga rank-approximationen konvergerar mot den sanna ES-gradienten med en 1/r-hastighet, så att pressa ranken återskapar fullt ES-beteende utan den beräkningsmässiga explosionen. Men experimenten är där det blir galet. → De förtränar rekurrenta LM:er från grunden med endast heltalsdatatyper. Inga övergångar. Ingen ryggpropell. Helt stabil även vid hyperskala. → De matchar GRPO-nivåmetoder på LLM-resonemangsbenchmarks. Det innebär att ES kan konkurrera med moderna RL-för-resonemang-metoder på verkliga uppgifter. → ES blir plötsligt användbart för massiva, diskreta, hybrida och icke-differentierbara system på de exakta platser där backprop är smärtsamt eller omöjligt. Denna artikel skriver tyst om en gräns: vi hade inte svårt att skala ES för att algoritmen var dålig, vi hade problem eftersom vi gjorde det på det dyraste möjliga sättet. NVIDIA och Oxford tog bort flaskhalsen. Och nu är evolutionsstrategier inte längre en gammal idé... De är en träningsmetod i gränsskala.

Det här blåste bort mitt sinne 🤯 Jag gick precis igenom en MIT-artikel om ARC och det förändrade helt hur jag ser på benchmarken. Forskarna behandlade inte ARC som ett logiskt pussel alls. De behandlade varje uppgift som en visuell förvandling. Rutnät in → rutnät ut. Inget är mer komplicerat än så. De byggde en liten Vision Transformer, tränade den från grunden på ARC:s lilla dataset och använde ett enkelt canvastrick för att placera varje exempel som en bild. Sedan lade de till skaländringar, translationer och grundläggande visuella förmågor som man ser i klassiskt datorseendearbete. Det är allt. Ingen tankekedja, inga uppmaningar, inga smarta symboliska trick. Bara en modell som tittar på pixlar och lär sig hur former rör sig, vänder, växer, kollapsar eller förs över. Den vilda delen? Denna lilla modell når 54,5 % ensam och 60,4 % i kombination med en U-Net. Det är ungefär genomsnittlig mänsklig prestation med en modell som passar in i storleken av en liten mobilapp. Att se ARC löst på detta sätt gör att hela benchmarken känns annorlunda. Uppgifterna ser plötsligt ut som bildmappningar istället för dolda regler. Reflektionsuppgifter ser faktiskt ut som reflektioner. Symmetriuppgifter ser ut som symmetri. Gravitationsuppgifter ser ut som delar som "faller" rakt ner på duken. Jag håller ärligt talat fortfarande på att bearbeta det. Det här kan vara det mest jordnära ARC-resultatet jag läst på flera år och det kom från att jag behandlade benchmarken på det mest bokstavliga sättet någon någonsin gjort.

Om du vill bygga kraftfulla n8n-agenter men inte har någon aning om var du ska börja, är detta för dig. Här är 3 megaprompts du kan lägga in i Gemini eller ChatGPT för att få alla instruktioner du behöver för att enkelt bygga kompletta n8n-agenter: (Kommentera "Agent" så skickar jag dig ett komplett meddelande om en komplett guide)