Багато хто вважає, що поглинання штучного інтелекту з великою ймовірністю призведе до вимирання людства. Я вважаю, що це неправильно. Уявіть собі шкалу «наскільки штучний інтелект піклується про людей», яка коливається від 0% до 100%. 100% --> без захоплення штучним інтелектом 0% --> Захоплення ШІ та вимирання людства Зверніть увагу, що є ВЕЛИКА частина цієї шкали, де штучний інтелект бере верх, але не вбиває людей: Від 0,01% до 50% – > захоплення штучним інтелектом, але БЕЗ вимирання людства Я думаю, що ця проміжна частина діапазону повинна отримати велику масу ймовірностей. Чому 0,01% допомагає уникнути зникнення? до н.е. це дуже дешево для суперінтелекту, щоб зберегти життя людей і подарувати нам дивовижні життя. Є дві причини, чому штучний інтелект може піклуватися про людей >0,01%): 1. Штучний інтелект може внутрішньо піклуватися, вирівнювання bc трохи спрацювало. - Ми трохи дбаємо про корів і рослини, хоча й не мали контролю над тим, як ми еволюціонували - Ми додамо багато навчальних даних, щоб спробувати змусити штучний інтелект піклуватися про нас; деякі з них можуть прилипати навіть з вирівнювання, в цілому не вдається 2. Штучний інтелект може піклуватися про нього в інструментальному плані, оскільки він очікує, що інші агенти винагородять його за те, що він підтримує життя людей (через акаузальну торгівлю, або якщо ШІ бере участь у симуляції). - наприклад, штучний інтелект веде акаузальну торгівлю з сусідньою гілкою Еверетта, де люди вирішували питання вирівнювання - наприклад, штучний інтелект думає, що це може бути в симуляції, якою керують люди @RyanPGreenblatt має чудовий пост, в якому це обговорюється (посилання нижче). Я трохи оптимістичніший за нього