Muchas personas piensan que la toma de control de la IA probablemente conduciría a la extinción humana. Creo que eso está mal. Imagine una escala de "cuánto se preocupa la IA por los humanos" que va del 0% al 100%. 100% --> sin toma de control de la IA 0% --> Toma de control de la IA y extinción humana Tenga en cuenta que hay una GRAN parte de esa escala en la que la IA se hace cargo pero no mata a los humanos: 0.01% a 50% --> toma de control de la IA pero NO la extinción humana Creo que esta parte intermedia del rango debería tener mucha masa de probabilidad. ¿Por qué el 0,01% es para evitar la extinción? Porque es muy barato para la superinteligencia mantener vivos a los humanos y darnos vidas increíbles. Hay dos razones por las que la IA podría preocuparse por los humanos >0,01%: 1. La IA podría preocuparse intrínsecamente, porque la alineación funcionó un poco. - Nos preocupamos un poco por las vacas y las plantas, aunque no tenían control sobre cómo evolucionamos - Agregaremos muchos datos de entrenamiento para tratar de que las IA se preocupen por nosotros; parte de ella podría pegarse incluso a la alineación falla ampliamente 2. La IA podría preocuparse instrumentalmente, porque espera que otros agentes la recompensen por mantener vivos a los humanos (a través del comercio acausal, o si la IA está en una simulación). - por ejemplo, la IA realiza comercio acausal con una sucursal cercana de Everett donde los humanos resolvieron la alineación - por ejemplo, la IA cree que puede estar en una simulación dirigida por humanos @RyanPGreenblatt tiene una gran publicación discutiendo esto (enlace a continuación). Soy un poco más optimista que él