Veel mensen denken dat een AI-overname zeer waarschijnlijk zou leiden tot de uitsterving van de mensheid. Ik denk dat dat verkeerd is. Stel je een schaal voor van "hoeveel AI om mensen geeft" die varieert van 0% tot 100%. 100% --> geen AI-overname 0% --> AI-overname en menselijke uitsterving Merk op dat er een GROOT deel van die schaal is waar AI overneemt maar geen mensen doodt: 0,01% tot 50% --> AI-overname maar GEEN menselijke uitsterving Ik denk dat dit tussenliggende deel van het bereik veel waarschijnlijkheid zou moeten krijgen. Waarom is 0,01% om uitsterving te vermijden? Omdat het heel goedkoop is voor superintelligentie om mensen in leven te houden en ons geweldige levens te geven. Er zijn twee redenen waarom AI om mensen zou kunnen geven >0,01%: 1. AI zou intrinsiek om mensen kunnen geven, omdat afstemming een beetje heeft gewerkt. - We geven een beetje om koeien en planten, ook al hadden ze geen controle over hoe we zijn geëvolueerd. - We zullen veel trainingsdata toevoegen om te proberen AIs om ons te laten geven; een deel daarvan kan blijven hangen, zelfs als afstemming in het algemeen faalt. 2. AI zou instrumenteel om mensen kunnen geven, omdat het verwacht dat andere agenten het zullen belonen voor het in leven houden van mensen (via acausale handel, of als de AI in een simulatie is). - bijv. de AI doet acausale handel met een nabijgelegen Everett-tak waar mensen de afstemming hebben opgelost. - bijv. de AI denkt dat het misschien in een simulatie is die door mensen wordt uitgevoerd. @RyanPGreenblatt heeft een geweldige post over dit onderwerp (link hieronder). Ik ben iets optimistischer dan hij.