Creșterea capacității modelului AI nu a arătat deloc cu modul în care se dezvoltă inteligența umană, dar există încă o presupunere larg răspândită printre tipurile AI că AGI sau super-inteligența va avea, inevitabil, aceeași distribuție de capabilități ca și geniile umane.

observația karpathy (și altele) că RL produce un set de capabilități care s-ar putea să nu se dezvolte niciodată în AGI (adică că scalarea datelor de antrenament și îmbunătățirea calității datelor nu ar putea duce niciodată la modele care sunt implicite agentice sau noi generatoare de informații sau w/e) ar putea, de asemenea, să se generalizeze

adică, nu mi se pare că există o lege a universului care să spună că întregul pachet de inteligență umană din întreaga populație va fi replicabil folosind tehnici ML, ca să nu mai vorbim de orice direcție de cercetare dată

mi se pare foarte plauzibil (un idiot apropo) că ai putea construi modele de inteligență artificială cu învățare continuă care sunt capabile să facă aproape toată munca unui analist juridic de top la o firmă, dar doar 50 sau 60% din munca unui jurist care lucrează într-un domeniu nou

Acest lucru este evident pentru avocați apropo, deoarece știu că avocații care lucrează în domenii noi sau subdomenii fac practic doar legi prin analogie etc.

Nu este un tip de fizică, dar echivalentul ar fi că poți găzdui 10.000 de absolvenți într-un centru de date fără a putea face munca unui Einstein (sau orice altceva – idk dacă "când AGI îl va înlocui pe Einstein" este o ipotetică utilă)

Chiar dacă presupunem că este posibil să reproducem înțelegerea umană în ansambl, să zicem, cu o combinație de mai multe arhitecturi de modele diferite împreună – asta mi se pare foarte asemănător cu genul de problemă de optimizare pe care a devenit acum reglarea modelelor de frontieră.