Das Wachstum der Fähigkeiten von KI-Modellen sieht nicht annähernd so aus wie die Entwicklung menschlicher Intelligenz, aber es gibt immer noch eine weit verbreitete Annahme unter KI-Experten, dass AGI oder Superintelligenz zwangsläufig die gleiche Verteilung von Fähigkeiten haben wird wie menschliche Genies. Das scheint falsch zu sein.

Die Beobachtung von Karpathy (und anderen), dass RL eine Reihe von Fähigkeiten hervorbringt, die möglicherweise niemals zu AGI führen (d.h. dass das Skalieren von Trainingsdaten und die Verbesserung der Datenqualität möglicherweise niemals zu Modellen führen, die standardmäßig agentisch oder neuartige Einsichten generieren oder was auch immer), könnte ebenfalls verallgemeinert werden.

Das heißt, es scheint mir kein Gesetz des Universums zu geben, das besagt, dass das gesamte Paket menschlicher Intelligenz über die Bevölkerung hinweg mit ML-Techniken überhaupt replizierbar ist, geschweige denn in einer bestimmten Forschungsrichtung.

Es scheint mir sehr plausibel (ich bin übrigens ein Idiot), dass man kontinuierlich lernende, agentische KI-Modelle entwickeln könnte, die in der Lage sind, fast die gesamte Arbeit eines Top-Rechtsanalysten in einer Kanzlei zu erledigen, aber nur 50 oder 60 % der Arbeit eines Rechtswissenschaftlers, der in einem neuen Bereich tätig ist.

Das ist übrigens offensichtlich für Anwälte, da sie wissen, dass Anwälte, die in neuen Bereichen oder Teilbereichen arbeiten, im Grunde genommen das Recht durch Analogie erfinden.

Ich bin kein Physiker, aber das Äquivalent wäre, dass du 10.000 selbstverbessernde Doktoranden in einem Rechenzentrum hosten kannst, ohne die Arbeit eines Einstein (oder was auch immer – ich weiß nicht, ob die Frage „Wann wird AGI Einstein ersetzen?“ überhaupt eine nützliche Hypothese ist) erledigen zu können.

Selbst wenn man annimmt, dass es möglich ist, menschliche Einsicht aggregiert zu replizieren, sagen wir, durch eine Kombination mehrerer verschiedener Modellarchitekturen in Zusammenarbeit – das sieht für mich sehr nach dem Art von mühsamen Optimierungsproblem aus, das das Abstimmen von Grenzmodellen mittlerweile geworden ist.