Mnoho lidí si myslí, že převzetí umělé inteligence by velmi pravděpodobně vedlo k vyhynutí lidstva. Myslím, že je to špatně. Představte si stupnici "jak moc se umělá inteligence stará o lidi", která se pohybuje od 0 % do 100 %. 100% --> žádné převzetí AI 0% --> Převzetí umělé inteligence a vyhynutí lidstva Všimněte si, že existuje VELKÁ část tohoto rozsahu, kde umělá inteligence přebírá kontrolu, ale nezabíjí lidi: 0,01 % až 50 % – > převzetí AI, ale ŽÁDNÉ vyhynutí lidstva Myslím, že tato střední část rozsahu by měla mít velkou pravděpodobnost. Proč je 0,01 % k vyhynutí? Bc je levné, aby superinteligence udržovala lidi naživu a dávala nám úžasné životy. Existují dva důvody, proč by se umělá inteligence mohla zajímat o lidi >0,01 %: 1. AI se může starat ze své podstaty, zarovnání bc trochu fungovalo. - Trochu nám záleží na krávách a rostlinách, i když neměly žádnou kontrolu nad tím, jak jsme se vyvíjeli - Přidáme spoustu tréninkových dat, abychom se pokusili přimět umělou inteligenci, aby se o nás zajímala; některé z nich by se mohly držet i z souladu široce selhává 2. AI se může starat instrumentálně, protože očekává, že ji ostatní agenti odmění za udržení lidí naživu (prostřednictvím kauzálního obchodu, nebo pokud je AI v simulaci). - např. AI provádí kauzální obchod s nedalekou pobočkou Everettu, kde lidé vyřešili zarovnání - např. umělá inteligence si myslí, že by mohla být v simulaci prováděné lidmi @RyanPGreenblatt má skvělý příspěvek, který o tom diskutuje (odkaz níže). Jsem o něco optimističtější než on