Tillväxten av AI-modeller har inte alls sett ut på samma sätt som mänsklig intelligens utvecklas, men det finns fortfarande ett utbrett antagande bland AI-typer att AGI eller superintelligens oundvikligen kommer att ha samma fördelning av förmågor som mänskliga genier har.

Karpathy-observationen (andra också) att RL producerar en uppsättning förmågor som kanske aldrig kommer att utvecklas till AGI (dvs. att skalning av träningsdata och förbättring av datakvaliteten aldrig kan leda till modeller som är standard agentiska eller nya insiktsgenererande eller w/e) kan också generalisera

det vill säga, det verkar inte finnas någon universums lag som säger att hela paketet med mänsklig intelligens över hela befolkningen kommer att kunna replikeras med hjälp av ML-tekniker alls, än mindre någon given forskningsriktning

det verkar mycket troligt för mig (en idiot btw) att du skulle kunna bygga kontinuerligt lärande agentiska AI-modeller som kan göra nästan allt av en juridisk analytikers arbete på toppnivå på ett företag, men bara 50 eller 60 % av arbetet för en juridisk forskare som arbetar inom ett nytt område

Detta är förresten uppenbart för advokater eftersom de vet att advokater som arbetar inom nya områden eller underområden i princip bara hittar på juridik genom analogi etc.

Jag är inte en fysikkille, men motsvarande skulle vara att du kan vara värd för 10 000 självförbättrande studenter i ett datacenter utan att kunna göra en Einsteins arbete (eller vad som helst - idk om "när AGI ersätter Einstein" är en användbar hypotetisk alls)

Även om man antar att det är möjligt att replikera mänsklig insikt i aggregerad form med, säg, en kombination av flera olika modellarkitekturer i samklang – så ser det för mig mycket ut som den typ av malande optimeringsproblem som Tuning Frontier-modeller har blivit nu.