多くの人々は、AIの乗っ取りが人類の絶滅につながる可能性が非常に高いと考えています。 それは間違っていると思います。 「AI が人間をどれだけ気にかけているか」のスケールが 0% から 100% の範囲であると想像してみてください。 100% - AI乗っ取り>なし 0% - >AI乗っ取りと人類の絶滅 その規模には、AI が引き継ぐが人間を殺さない大きな部分があることに注目してください。 0.01%から50% - AI乗っ取りは>が人類の絶滅はない 範囲のこの中間部分は、多くの確率質量を得るべきだと思います。 なぜ絶滅を避けるために0.01%なのですか?BC 超知能が人間を生かし、私たちに素晴らしい命を与えるのは安価です。 AI が人間を気にする理由は 2 つあります >0.01%。 1. AI は本質的に気にするかもしれませんが、BC の調整は少し機能しました。 - 私たちは牛や植物のことを少し気にかけていますが、彼らは私たちの進化をどのように制御できなかったとしても - AI に気にかけてもらうために、多くのトレーニング データを追加します。その一部は、アライメントが広く失敗しても固執する可能性があります 2. AI は、人間を生かし続けることで他のエージェントが報酬を与えることを期待しているため、(非因果的取引を通じて、または AI がシミュレーションに参加している場合)を用意するかもしれません。 - たとえば、AI は、人間がアライメントを解決した近くのエベレット支店と非因果的取引を行います。 - たとえば、AI は人間が実行するシミュレーションにある可能性があると考えています @RyanPGreenblattこれについて議論した素晴らしい投稿があります(以下のリンク)。私は彼よりも少し楽観的です