Mange ppl tror at AI-overtakelse med stor sannsynlighet vil føre til menneskelig utryddelse. Jeg tror det er feil. Se for deg en skala for "hvor mye AI bryr seg om mennesker" som varierer fra 0 % til 100 %. 100 % --> ingen AI-overtakelse 0 % --> AI-overtakelse og menneskelig utryddelse Legg merke til at det er en STOR del av den skalaen der AI tar over, men ikke dreper mennesker: 0,01 % til 50 % --> AI-overtakelse, men INGEN menneskelig utryddelse Jeg tror denne mellomliggende delen av området bør få mye sannsynlighetsmasse. Hvorfor er 0,01 % for å unngå utryddelse? For det er billig for superintelligens å holde mennesker i live og gi oss fantastiske liv. Det er to grunner til at AI kan bry seg om mennesker >0,01 %: 1. AI kan bry seg iboende, bc-justering fungerte litt. - Vi bryr oss litt om kyr og planter selv om de ikke hadde kontroll over hvordan vi utviklet oss - Vi vil legge til mange treningsdata for å prøve å få AI-er til å bry seg om oss; noe av det kan holde seg selv om justeringen stort sett mislykkes 2. AI kan bry seg instrumentelt, fordi den forventer at andre agenter vil belønne den for å holde mennesker i live (via kausal handel, eller hvis AI er i en simulering). - f.eks. gjør AI kausal handel med en nærliggende Everett-gren der mennesker løste justering - f.eks. tror AI at det kan være i en simulering drevet av mennesker @RyanPGreenblatt har et flott innlegg som diskuterer dette (lenke nedenfor). Jeg er litt mer optimistisk enn ham