Mulți oameni cred că preluarea AI ar duce foarte probabil la dispariția umană. Cred că este greșit. Imaginați-vă o scară de "cât de mult îi pasă AI de oameni" care variază de la 0% la 100%. 100% --> nicio preluare AI 0% --> Preluarea AI și extincția umană Observați că există o mare parte a acelei scări în care AI preia controlul, dar nu ucide oamenii: 0,01% până la 50% --> preluare AI, dar FĂRĂ extincție umană Cred că această parte intermediară a intervalului ar trebui să primească multă masă probabilă. De ce este 0,01% pentru a evita dispariția? Bc este foarte ieftin pentru superinteligență să mențină oamenii în viață și să ne ofere vieți uimitoare. Există două motive pentru care AI ar putea să-i pese de oameni >0,01%: 1. AI ar putea să-i pese intrinsec, alinierea bc a funcționat puțin. - Ne pasă puțin de vaci și plante, chiar dacă nu aveau control asupra modului în care am evoluat - Vom adăuga o mulțime de date de antrenament pentru a încerca să facem AI-urile să aibă grijă de noi; unele dintre ele s-ar putea să rămână chiar și de aliniere eșuează în mare măsură 2. AI ar putea avea grijă instrumental, deoarece se așteaptă ca alți agenți să o recompenseze pentru menținerea oamenilor în viață (prin comerț acauzal, sau dacă AI este într-o simulare). - de exemplu, AI face comerț acauzal cu o ramură Everett din apropiere, unde oamenii au rezolvat alinierea - de exemplu, AI crede că ar putea fi într-o simulare condusă de oameni @RyanPGreenblatt o postare grozavă care discută despre acest lucru (linkul de mai jos). Sunt puțin mai optimist decât el