Molte persone pensano che il takeover dell'AI porterebbe molto probabilmente all'estinzione umana. Penso che sia sbagliato. Immagina una scala di "quanto l'AI si preoccupa degli esseri umani" che va dallo 0% al 100%. 100% --> nessun takeover dell'AI 0% --> takeover dell'AI e estinzione umana Nota che c'è una GRANDE parte di quella scala in cui l'AI prende il controllo ma non uccide gli esseri umani: 0.01% a 50% --> takeover dell'AI ma NESSUNA estinzione umana Penso che questa parte intermedia della gamma dovrebbe avere una grande massa di probabilità. Perché 0.01% per evitare l'estinzione? Perché è molto economico per una superintelligenza mantenere in vita gli esseri umani e darci vite straordinarie. Ci sono due motivi per cui l'AI potrebbe preoccuparsi degli esseri umani >0.01%: 1. L'AI potrebbe preoccuparsi intrinsecamente, perché l'allineamento ha funzionato un po'. - Ci preoccupiamo un po' delle mucche e delle piante anche se non hanno avuto alcun controllo su come ci siamo evoluti - Aggiungeremo molti dati di addestramento per cercare di far sì che le AI si preoccupino di noi; parte di essi potrebbe rimanere anche se l'allineamento fallisce ampiamente 2. L'AI potrebbe preoccuparsi strumentalmente, perché si aspetta che altri agenti la ricompensino per mantenere in vita gli esseri umani (attraverso il commercio acausale, o se l'AI è in una simulazione). - ad esempio, l'AI fa commercio acausale con un ramo Everett vicino dove gli esseri umani hanno risolto l'allineamento - ad esempio, l'AI pensa che potrebbe essere in una simulazione gestita dagli esseri umani @RyanPGreenblatt ha un ottimo post che discute di questo (link qui sotto). Sono un po' più ottimista di lui.