許多人認為，AI 接管很可能會導致人類滅絕。 我認為這是錯誤的。 想像一個「AI 對人類的關心程度」的尺度，範圍從 0% 到 100%。 100% --> 沒有 AI 接管 0% --> AI 接管和人類滅絕 注意，這個尺度上有一個很大的部分，AI 接管但不會殺死人類： 0.01% 到 50% --> AI 接管但沒有人類滅絕 我認為這個範圍的中間部分應該有很多的概率質量。 為什麼 0.01% 可以避免滅絕？因為對超智能來說，保持人類生存並給我們美好的生活是非常便宜的。 AI 可能關心人類的原因有兩個，>0.01%： 1. AI 可能出於內在原因關心人類，因為對齊有一點效果。 - 我們對牛和植物有一點關心，即使它們對我們的進化沒有控制權 - 我們會添加大量的訓練數據，試圖讓 AI 關心我們；即使對齊大體上失敗，其中一些可能會保留 2. AI 可能出於工具性原因關心人類，因為它預期其他代理會因為保持人類生存而獎勵它（通過因果貿易，或者如果 AI 在模擬中）。 - 例如，AI 與附近的埃弗雷特分支進行因果貿易，那裡人類解決了對齊問題 - 例如，AI 認為它可能在由人類運行的模擬中 @RyanPGreenblatt 有一篇很棒的文章討論這個問題（鏈接如下）。我比他稍微樂觀一些。