Muitas pessoas pensam que a aquisição da IA provavelmente levaria à extinção humana. Eu acho que isso está errado. Imagine uma escala de "quanto a IA se preocupa com os humanos" que varia de 0% a 100%. 100% --> sem aquisição de IA 0% --> Aquisição de IA e extinção humana Observe que há uma GRANDE parte dessa escala em que a IA assume o controle, mas não mata humanos: 0,01% a 50% --> aquisição de IA, mas NENHUMA extinção humana Acho que essa parte intermediária do intervalo deve ter muita massa de probabilidade. Por que 0,01% é para evitar a extinção? Porque é muito barato para a superinteligência manter os humanos vivos e nos dar vidas incríveis. Há duas razões pelas quais a IA pode se preocupar com os humanos >0,01%: 1. A IA pode se importar intrinsecamente, o alinhamento bc funcionou um pouco. - Nós nos preocupamos um pouco com vacas e plantas, embora não tivessem controle sobre como evoluímos - Adicionaremos muitos dados de treinamento para tentar fazer com que as IAs se preocupem conosco; alguns deles podem ficar até mesmo de falhas de alinhamento 2. A IA pode se importar instrumentalmente, porque espera que outros agentes a recompensem por manter os humanos vivos (por meio de comércio acausal ou se a IA estiver em uma simulação). - por exemplo, a IA faz comércio acausal com uma filial próxima de Everett, onde os humanos resolveram o alinhamento - por exemplo, a IA pensa que pode estar em uma simulação executada por humanos @RyanPGreenblatt tem um ótimo post discutindo isso (link abaixo). Estou um pouco mais otimista do que ele