Многие люди думают, что захват ИИ, скорее всего, приведет к вымиранию человечества. Я думаю, что это неправильно. Представьте себе шкалу "насколько ИИ заботится о людях", которая варьируется от 0% до 100%. 100% --> нет захвата ИИ 0% --> захват ИИ и вымирание человечества Обратите внимание, что есть БОЛЬШАЯ часть этой шкалы, где ИИ захватывает, но не убивает людей: 0.01% до 50% --> захват ИИ, но НЕТ вымирания человечества Я думаю, что эта промежуточная часть диапазона должна получить много вероятностной массы. Почему 0.01% для избежания вымирания? Потому что для суперразума очень дешево поддерживать людей в живых и дарить нам удивительные жизни. Есть две причины, по которым ИИ может заботиться о людях >0.01%: 1. ИИ может заботиться о нас инстинктивно, потому что выравнивание сработало немного. - Мы немного заботимся о коровах и растениях, даже если они не контролировали, как мы эволюционировали. - Мы добавим много обучающих данных, чтобы попытаться заставить ИИ заботиться о нас; часть из этого может остаться, даже если выравнивание в целом провалится. 2. ИИ может заботиться о нас инструментально, потому что ожидает, что другие агенты вознаградят его за то, что он поддерживает людей в живых (через аксиоматическую торговлю или если ИИ находится в симуляции). - например, ИИ ведет аксиоматическую торговлю с ближайшей ветвью Эверетта, где люди решили проблему выравнивания. - например, ИИ думает, что он может находиться в симуляции, управляемой людьми. @RyanPGreenblatt имеет отличный пост, обсуждающий это (ссылка ниже). Я немного более оптимистичен, чем он.