Monet ihmiset ajattelevat, että tekoälyn haltuunotto johtaisi hyvin todennäköisesti ihmisen sukupuuttoon. Mielestäni se on väärin. Kuvittele asteikko "kuinka paljon tekoäly välittää ihmisistä", joka vaihtelee 0 prosentista 100 prosenttiin. 100% --> ei tekoälyn haltuunottoa 0% --> tekoälyn haltuunotto ja ihmisen sukupuutto Huomaa, että tässä mittakaavassa on ISO osa, jossa tekoäly ottaa vallan, mutta ei tapa ihmisiä: 0,01 % - 50 % --> tekoälyn haltuunotto, mutta EI ihmisen sukupuuttoa Mielestäni tämän vaihteluvälin väliosan pitäisi saada paljon todennäköisyysmassaa. Miksi 0.01 % on sukupuuttoon kuolemisen välttämiseksi? Bc se on halpaa superälylle pitää ihmiset hengissä ja antaa meille hämmästyttävää elämää. On kaksi syytä, miksi tekoäly saattaa välittää ihmisistä >0,01 %: 1. Tekoäly saattaa välittää luontaisesti, bc-kohdistus toimi hieman. - Välitämme hieman lehmistä ja kasveista, vaikka ne eivät voineet hallita kehitystämme - Lisäämme paljon koulutusdataa yrittääksemme saada tekoälyt välittämään meistä; Osa siitä saattaa pysyä jopa linjauksen epäonnistuessa 2. Tekoäly saattaa välittää instrumentaalisesti, koska se odottaa muiden agenttien palkitsevan sen ihmisten hengissä pitämisestä (kausaalikaupan kautta tai jos tekoäly on simulaatiossa). - esim. tekoäly tekee kausaalista kauppaa läheisen Everettin haaran kanssa, jossa ihmiset ratkaisivat linjauksen - esimerkiksi tekoäly luulee olevansa ihmisen suorittamassa simulaatiossa @RyanPGreenblatt on hieno postaus, jossa käsitellään tätä (linkki alla). Olen hieman optimistisempi kuin hän