Viele Menschen denken, dass eine Übernahme durch KI sehr wahrscheinlich zur Ausrottung der Menschheit führen würde. Ich denke, das ist falsch. Stellen Sie sich eine Skala vor, die "wie sehr KI sich um Menschen kümmert" von 0% bis 100% reicht. 100% --> keine KI-Übernahme 0% --> KI-Übernahme und menschliche Ausrottung Beachten Sie, dass es einen GROßEN Teil dieser Skala gibt, in dem KI übernimmt, aber die Menschen nicht tötet: 0,01% bis 50% --> KI-Übernahme, aber KEINE menschliche Ausrottung Ich denke, dieser Zwischenbereich sollte eine große Wahrscheinlichkeit haben. Warum 0,01% zur Vermeidung der Ausrottung? Weil es für Superintelligenz sehr günstig ist, Menschen am Leben zu halten und uns ein erstaunliches Leben zu bieten. Es gibt zwei Gründe, warum KI sich um Menschen >0,01% kümmern könnte: 1. KI könnte sich intrinsisch kümmern, weil die Ausrichtung ein wenig funktioniert hat. - Wir kümmern uns ein wenig um Kühe und Pflanzen, auch wenn sie keinen Einfluss darauf hatten, wie wir uns entwickelt haben. - Wir werden viele Trainingsdaten hinzufügen, um zu versuchen, dass sich KIs um uns kümmern; ein Teil davon könnte haften bleiben, selbst wenn die Ausrichtung im Großen und Ganzen fehlschlägt. 2. KI könnte sich instrumentell kümmern, weil sie erwartet, dass andere Agenten sie dafür belohnen, dass sie Menschen am Leben hält (durch akausalen Handel oder wenn die KI in einer Simulation ist). - z.B. die KI handelt akausal mit einem nahegelegenen Everett-Zweig, wo Menschen die Ausrichtung gelöst haben. - z.B. die KI denkt, sie könnte in einer von Menschen betriebenen Simulation sein. @RyanPGreenblatt hat einen großartigen Beitrag dazu verfasst (Link unten). Ich bin ein wenig optimistischer als er.