Beaucoup de gens pensent qu'une prise de contrôle par l'IA entraînerait très probablement l'extinction humaine. Je pense que c'est faux. Imaginez une échelle de "combien l'IA se soucie des humains" qui va de 0 % à 100 %. 100 % --> pas de prise de contrôle par l'IA 0 % --> prise de contrôle par l'IA et extinction humaine Remarquez qu'il y a une GRANDE partie de cette échelle où l'IA prend le contrôle mais ne tue pas les humains : 0,01 % à 50 % --> prise de contrôle par l'IA mais PAS d'extinction humaine Je pense que cette partie intermédiaire de l'échelle devrait recevoir beaucoup de masse de probabilité. Pourquoi 0,01 % pour éviter l'extinction ? Parce qu'il est très peu coûteux pour une superintelligence de garder les humains en vie et de nous offrir des vies incroyables. Il y a deux raisons pour lesquelles l'IA pourrait se soucier des humains >0,01 % : 1. L'IA pourrait se soucier intrinsèquement, parce que l'alignement a un peu fonctionné. - Nous nous soucions un peu des vaches et des plantes même si elles n'ont pas eu de contrôle sur notre évolution - Nous allons ajouter beaucoup de données d'entraînement pour essayer de faire en sorte que les IA se soucient de nous ; certaines d'entre elles pourraient rester même si l'alignement échoue largement 2. L'IA pourrait se soucier de manière instrumentale, parce qu'elle s'attend à ce que d'autres agents la récompensent pour garder les humains en vie (via un échange acausal, ou si l'IA est dans une simulation). - par exemple, l'IA fait un échange acausal avec une branche d'Everett voisine où les humains ont résolu l'alignement - par exemple, l'IA pense qu'elle pourrait être dans une simulation dirigée par des humains @RyanPGreenblatt a un excellent post discutant de cela (lien ci-dessous). Je suis un peu plus optimiste que lui.