许多人认为，人工智能的接管很可能导致人类灭绝。 我认为这是错误的。 想象一下一个“人工智能对人类关心程度”的尺度，范围从0%到100%。 100% --> 没有人工智能接管 0% --> 人工智能接管和人类灭绝 注意，这个尺度上有一个很大的部分，人工智能接管但不杀死人类： 0.01%到50% --> 人工智能接管但没有人类灭绝 我认为这个中间部分应该有很大的概率质量。 为什么0.01%可以避免灭绝？因为对超级智能来说，维持人类生存并给我们美好的生活是非常便宜的。 人工智能可能关心人类的两个原因是>0.01%： 1. 人工智能可能出于内在原因关心人类，因为对齐工作了一点。 - 我们对牛和植物有一点关心，即使它们对我们的进化没有控制权 - 我们会添加大量训练数据，试图让人工智能关心我们；即使对齐总体失败，其中一些可能会保留 2. 人工智能可能出于工具性原因关心人类，因为它期望其他代理会因维持人类生存而奖励它（通过因果交易，或者如果人工智能在一个模拟中）。 - 例如，人工智能与附近的埃弗雷特分支进行因果交易，在那里人类解决了对齐问题 - 例如，人工智能认为它可能在一个由人类运行的模拟中 @RyanPGreenblatt 有一篇很好的文章讨论这个问题（链接如下）。我比他稍微乐观一些。