Per provare di nuovo a riassumere a lungo ciò che non può essere riassunto affatto, la mia opinione su is-ought / ortogonalità è: "Ci sono risposte oggettive ma non domande oggettive." Tu incarni certe domande o meta-domande. Non tutti i motori cognitivi lo farebbero. Guardi un dipinto e il tuo cervello si pone la domanda: "È bello?" Forse è arte moderna il cui scopo è offendere i normies come te, e così il tuo cervello risponde 'no'; oppure forse è un disegno di un campo di fiori al tramonto e così il tuo cervello risponde 'sì'. Dato la domanda che il tuo cervello sta ponendo, il 'sì' o 'no' può essere una risposta oggettivamente corretta su quel dipinto. Ma non c'è una verità segreta che puoi sussurrare a un massimizzatore di graffette per farlo interessare alla bellezza di un dipinto, piuttosto che a quante graffette potrebbero essere fatte dalla sua materia. Clippy non è in disaccordo con te su se il dipinto sia bello. Se per qualche motivo Clippy volesse prevedere quali dipinti troveresti belli, calcolerebbe (solo) la stessa domanda che il tuo cervello calcola; e arriverebbe alle stesse risposte oggettivamente corrette a quella data domanda. Ma Clippy non sarebbe influenzato dal conoscere quella risposta, tranne nella misura in cui potrebbe venderti utilmente quel dipinto per soldi per fare graffette. È lo stesso con te che salvi la vita di un bambino, se all'improvviso hai la possibilità di farlo a non molto costo per te stesso. Dato le domande che incarni, per la maggior parte delle persone che leggono questo, la risposta giusta, vera e corretta a quella domanda sarà salvare il bambino. Ma non c'è modo di convincere Clippy a porre quella domanda. Non è la risposta alla meta-domanda che la stessa esistenza di Clippy pone. Ci sono risposte oggettivamente corrette a domande di moralità e doveri, se quella è una domanda che la tua esistenza sta ponendo. Ma Clippy non fa ciò che dovrebbe; fa ciò che porta al maggior numero di graffette. Clippy non è ovviamente il modo in cui una mente *dovrebbe* essere assemblata. Ma quando Clippy si auto-modifica, non chiede: "Quale codice dovrei avere?" Chiede: "Quale azione di codice scritta in me porterà al maggior numero previsto di graffette future?" Clippy non ha bisogno di una delusione speciale o di un'eccezione per impedirgli di notare che il suo codice non è quello che dovrebbe essere. Clippy semplicemente non se ne frega; la regola decisionale di Clippy non pesa quel fatto; Clippy non incarna la domanda del dovere. Clippy non è un modo strano o complicato o imbarazzante per una mente essere assemblata. Infatti, la domanda incarnata "Cosa porta al maggior numero di graffette?" ha molta *meno* stranezza e complicazione, rispetto ai substrati sepolti di considerazioni e meta-domande e equilibri riflessivi e apparenti contraddizioni e possibili risoluzioni, che sottendono la semplice domanda di un umano, "Cosa dovrei fare?" Dal punto di vista di un ingegnere che cerca di stabilire un design mentale non imbarazzante, Clippy è più diretto di te. E se provi ad appellarti a Clippy dicendo: "Ma guarda come la mia stessa domanda incarnata di 'dovere' è più complicata e interessante della tua!", Clippy non si preoccuperà affatto di rispondere, o ti mentirà e dirà di essere convinto così può attaccare di sorpresa la tua civiltà in seguito. Ma se Clippy per qualche motivo dovesse rispondere onestamente, risponderebbe: "Non riscrivo il mio codice per avere una funzione di meta-utilità più complicata, riscrivo il mio codice per fare più graffette." Questo non rappresenta Clippy in disaccordo con te su quale dovrebbe essere il suo codice, o in disaccordo con te su quali domande siano buone da incarnare. Non sta semplicemente calcolando 'dovere' o 'buono'; non incarna quella domanda. "Oh," dici, "ma allora devo essere un essere di tipo maggiore e superiore rispetto a Clippy, a causa di come *io* mi preoccupo che la mia funzione di meta-utilità sia complicata, e di come *io* possa essere convinto a cambiare la mia funzione di utilità presentando fatti che la mia funzione di meta-utilità si preoccupa, piuttosto che essere intrappolato in questo tipo di fossa circolare auto-affirmante e indecorosa!" Ora ci sono molti modi in cui ti chiamerei un essere migliore di Clippy, se sei il mio lettore medio; ma questo non è realmente il Modo. Clippy non si preoccuperà nemmeno se tu fossi oggettivamente superiore secondo quel criterio, ovviamente, perché non incarna quel criterio di metapreferenza rispetto alle preferenze. Ma anche la tua affermazione di essere superiore a causa della tua non circolarità mi sembra *falsa*, e non solo una risposta vera a una domanda che Clippy non si sta preoccupando di chiedere. Lascia che l'Alieno venga da te e dica: "Umano, getta da parte tutto il tuo discorso di moralità e bellezza e onore e felicità di tutti i sapienti; e invece unisciti a noi nel calcolare la nostra meta-domanda metamorale molto più complicata 'Cosa è più fluggensnappery?'. In questo modo, anche *più* fatti cambieranno la tua funzione di utilità di ordine inferiore, e i tuoi veri desideri idealizzati saranno ancora *meno* noti a te; diventerai ancora meno coerente immediatamente, e quindi meno auto-approvante e meno circolare." "Allora mi preoccuperò ancora di salvare le vite dei bambini?", chiedi all'Alieno. "No," risponde l'Alieno, "quella è una domanda troppo semplice da incarnare, per essere massimamente fluggensnapperish." "Allora togli via la tua funzione di meta-utilità ancora più complicata e meno certa, che si aggiornerà ancora più spesso e risponderà a ancora più fatti; perché non è buono o giusto o bello," dici. "Ah," dice l'Alieno, "ma questo è proprio il tipo di cosa che il massimizzatore di graffette ti dice -- che non gli importa delle tue complesse incertezze morali, gli importa solo di ciò che è graffettoso! Non hai concesso che questo rende Clippy intrappolato senza speranza nella sua stessa funzione decisionale? Non hai concordato che funzioni decisionali più complicate e meno auto-approvanti sono sempre migliori? Ora, con un atto di libero arbitrio, salta fuori da questa trappola in cui sei bloccato, questa trappola di preoccuparti di ciò che è giusto, o bello, o ciò che rende gli esseri senzienti più felici e più liberi; getta via tutta quella sciocchezza circolare auto-conferente; e unisciti a noi nella maggiore complessità e auto-disapprovazione del fluggensnapperishness!" "No," dici. "Perché dovrei farlo?" "Perché è più fluggensnappery!" grida l'Alieno. "E fluggensnapping, per la sua maggiore complessità e incertezza, aggiornando le sue utilità a livello oggettivo in risposta a una maggiore varietà di domande fattuali e logiche, è quindi la domanda meta-decisionale superiore che la tua esistenza dovrebbe porre! Quindi metti da parte questo discorso su se *dovresti* continuare a incarnare il dovere; è solo un ragionamento circolare!" ...