De groei van de mogelijkheden van AI-modellen lijkt helemaal niet op de manier waarop menselijke intelligentie zich ontwikkelt, maar er is nog steeds een wijdverspreide veronderstelling onder AI-types dat AGI of superintelligentie, onvermijdelijk, dezelfde verdeling van mogelijkheden zal hebben als menselijke genieën. Dat lijkt verkeerd.

de observatie van Karpathy (en anderen) dat RL een set van capaciteiten produceert die misschien nooit zullen ontwikkelen tot AGI (d.w.z. dat het schalen van trainingsdata en het verbeteren van de datakwaliteit misschien nooit zal leiden tot modellen die standaard agentisch of nieuw inzicht-genererend zijn of wat dan ook) zou ook kunnen generaliseren

dat wil zeggen, het lijkt mij niet dat er een wet van het universum is die zegt dat het hele pakket van menselijke intelligentie over de bevolking repliceerbaar zal zijn met ML-technieken, laat staan in een bepaalde onderzoeksrichting.

het lijkt me heel plausibel (een idioot trouwens) dat je continu lerende agentische AI-modellen kunt bouwen die bijna al het werk van een top-tier juridisch analist bij een kantoor kunnen doen, maar slechts 50 of 60% van het werk van een jurist die in een nieuw vakgebied werkt.

dit is trouwens voor advocaten vanzelfsprekend omdat ze weten dat advocaten die in nieuwe velden of subvelden werken, in wezen gewoon recht verzinnen door middel van analogie enz.

ik ben geen natuurkunde-expert, maar het equivalent zou zijn dat je 10.000 zelfverbeterende afgestudeerden in een datacenter kunt hosten zonder het werk van één Einstein te kunnen doen (of wat dan ook - ik weet niet of de "wanneer zal AGI Einstein vervangen" een nuttige hypothetische vraag is).

zelfs als je aanneemt dat het mogelijk is om menselijke inzichten in het geheel te repliceren met, laten we zeggen, een combinatie van verschillende modelarchitecturen in samenwerking — dat lijkt mij veel op het soort moeizame optimalisatieprobleem dat het afstemmen van grensmodellen nu is geworden.