Många tror att AI-övertagandet med stor sannolikhet skulle leda till mänsklig utrotning. Jag tycker att det är fel. Föreställ dig en skala för "hur mycket AI bryr sig om människor" som sträcker sig från 0 % till 100 %. 100 % > inget AI-övertagande 0 % – > övertagande av AI och mänsklig utrotning Lägg märke till att det finns en STOR del av den skalan där AI tar över men inte dödar människor: 0,01 % till 50 % > AI-övertagande men INGEN mänsklig utrotning Jag tror att denna mellanliggande del av intervallet borde få en hel del sannolikhet massa. Varför är 0,01% för att undvika utrotning? Det är billigt för superintelligens att hålla människor vid liv och ge oss fantastiska liv. Det finns två anledningar till att AI kan bry sig om människor >0,01 %: 1. AI kanske bryr sig i sig, bc-anpassning fungerade lite. - Vi bryr oss lite om kor och växter även om de inte hade någon kontroll över hur vi utvecklades - Vi kommer att lägga till massor av träningsdata för att försöka få AI att bry sig om oss; En del av det kan fastna även om anpassningen i stort sett misslyckas 2. AI kan bry sig instrumentellt, eftersom den förväntar sig att andra agenter kommer att belöna den för att hålla människor vid liv (via akausal handel, eller om AI är i en simulering). - t.ex. AI:n gör acausal handel med en närliggande Everett-filial där människor löste anpassningen - t.ex. AI:n tror att den kan vara i en simulering som körs av människor @RyanPGreenblatt har ett bra inlägg där vi diskuterar detta (länk nedan). Jag är lite mer optimistisk än honom