Nhiều người nghĩ rằng sự chiếm đoạt của AI rất có khả năng dẫn đến sự tuyệt chủng của loài người. Tôi nghĩ điều đó là sai. Hãy tưởng tượng một thang đo "AI quan tâm đến con người bao nhiêu" dao động từ 0% đến 100%. 100% --> không có sự chiếm đoạt của AI 0% --> sự chiếm đoạt của AI và sự tuyệt chủng của loài người Lưu ý rằng có một phần LỚN của thang đo đó mà AI chiếm đoạt nhưng không giết chết con người: 0.01% đến 50% --> sự chiếm đoạt của AI nhưng KHÔNG có sự tuyệt chủng của loài người Tôi nghĩ rằng phần trung gian này của khoảng giá trị nên nhận được rất nhiều xác suất. Tại sao 0.01% để tránh tuyệt chủng? Bởi vì việc giữ cho con người sống và mang lại cho chúng ta cuộc sống tuyệt vời là rất rẻ đối với siêu trí tuệ. Có hai lý do mà AI có thể quan tâm đến con người >0.01%: 1. AI có thể quan tâm một cách nội tại, vì sự căn chỉnh đã hoạt động một chút. - Chúng ta quan tâm một chút đến bò và thực vật ngay cả khi chúng không có quyền kiểm soát cách chúng ta tiến hóa - Chúng ta sẽ thêm rất nhiều dữ liệu huấn luyện để cố gắng khiến AI quan tâm đến chúng ta; một số trong đó có thể giữ lại ngay cả khi sự căn chỉnh nói chung thất bại 2. AI có thể quan tâm một cách công cụ, vì nó mong đợi rằng các tác nhân khác sẽ thưởng cho nó vì đã giữ cho con người sống (thông qua giao dịch không nguyên nhân, hoặc nếu AI đang ở trong một mô phỏng). - ví dụ: AI thực hiện giao dịch không nguyên nhân với một nhánh Everett gần đó nơi con người đã giải quyết được sự căn chỉnh - ví dụ: AI nghĩ rằng nó có thể đang ở trong một mô phỏng do con người điều hành @RyanPGreenblatt có một bài viết tuyệt vời thảo luận về điều này (liên kết bên dưới). Tôi lạc quan hơn một chút so với anh ấy.