Wielu ludzi myśli, że przejęcie przez AI prawdopodobnie doprowadzi do wyginięcia ludzi. Myślę, że to błędne. Wyobraź sobie skalę "jak bardzo AI dba o ludzi", która waha się od 0% do 100%. 100% --> brak przejęcia przez AI 0% --> przejęcie przez AI i wyginięcie ludzi Zauważ, że jest DUŻA część tej skali, gdzie AI przejmuje kontrolę, ale nie zabija ludzi: 0,01% do 50% --> przejęcie przez AI, ale BRAK wyginięcia ludzi Myślę, że ta pośrednia część zakresu powinna mieć dużo masy prawdopodobieństwa. Dlaczego 0,01% unika wyginięcia? Ponieważ dla superinteligencji jest bardzo tanio utrzymać ludzi przy życiu i zapewnić nam niesamowite życie. Są dwa powody, dla których AI może dbać o ludzi >0,01%: 1. AI może dbać o nas z przyczyn wewnętrznych, ponieważ dopasowanie zadziałało trochę. - My trochę dbamy o krowy i rośliny, nawet jeśli nie miały one kontroli nad tym, jak się rozwijaliśmy - Dodamy dużo danych treningowych, aby spróbować sprawić, by AI dbało o nas; część z nich może się przyjąć, nawet jeśli dopasowanie ogólnie zawiedzie 2. AI może dbać o nas instrumentalnie, ponieważ oczekuje, że inne podmioty nagrodzą je za utrzymanie ludzi przy życiu (poprzez handel acausal, lub jeśli AI jest w symulacji). - np. AI prowadzi handel acausal z pobliską gałęzią Everetta, gdzie ludzie rozwiązali problem dopasowania - np. AI myśli, że może być w symulacji prowadzonej przez ludzi @RyanPGreenblatt ma świetny post omawiający to (link poniżej). Jestem trochę bardziej optymistyczny niż on.