Banyak orang berpikir bahwa pengambilalihan AI kemungkinan besar akan menyebabkan kepunahan manusia. Saya pikir itu salah. Bayangkan skala "seberapa besar AI peduli dengan manusia" yang berkisar antara 0% hingga 100%. 100% --> tidak ada pengambilalihan AI 0% --> Pengambilalihan AI dan kepunahan manusia Perhatikan bahwa ada bagian BESAR dari skala itu di mana AI mengambil alih tetapi tidak membunuh manusia: 0,01% hingga 50% --> pengambilalihan AI tetapi TIDAK ADA kepunahan manusia Saya pikir bagian perantara dari kisaran ini harus mendapatkan banyak massa probabilitas. Mengapa 0,01% untuk menghindari kepunahan? Bc itu v murah bagi kecerdasan super untuk menjaga manusia tetap hidup dan memberi kita kehidupan yang luar biasa. Ada dua alasan AI mungkin peduli dengan manusia >0,01%: 1. AI mungkin peduli secara intrinsik, penyelarasan bc bekerja sedikit. - Kami sedikit peduli dengan sapi dan tanaman meskipun mereka tidak memiliki kendali atas bagaimana kami berevolusi - Kami akan menambahkan banyak data pelatihan untuk mencoba membuat AI peduli dengan kami; beberapa di antaranya mungkin menempel bahkan dari penyelarasan secara luas gagal 2. AI mungkin peduli secara instrumental, karena mengharapkan bahwa agen lain akan menghargainya untuk menjaga manusia tetap hidup (melalui perdagangan kausal, atau jika AI berada dalam simulasi). - misalnya AI melakukan perdagangan kausal dengan cabang Everett terdekat di mana manusia memecahkan keselarasan - misalnya AI berpikir itu mungkin dalam simulasi yang dijalankan oleh manusia @RyanPGreenblatt memiliki posting bagus yang membahas ini (tautan di bawah). Saya sedikit lebih optimis darinya