Hearth su 12th St a NYC è la mia prima esperienza con un ristorante che mi piace davvero e che sembra stranamente poco affollato. "Calo di gennaio," ha detto il cameriere, e immagino che anche altri posti sembrassero piuttosto vuoti? Le prime patate fritte davvero buone che ho mangiato da quando sono passato a una dieta a basso contenuto di linoleico.

Per provare di nuovo a riassumere a lungo ciò che non può essere riassunto affatto, la mia opinione su is-ought / ortogonalità è: "Ci sono risposte oggettive ma non domande oggettive." Tu incarni certe domande o meta-domande. Non tutti i motori cognitivi lo farebbero. Guardi un dipinto e il tuo cervello si pone la domanda: "È bello?" Forse è arte moderna il cui scopo è offendere i normies come te, e così il tuo cervello risponde 'no'; oppure forse è un disegno di un campo di fiori al tramonto e così il tuo cervello risponde 'sì'. Dato la domanda che il tuo cervello sta ponendo, il 'sì' o 'no' può essere una risposta oggettivamente corretta su quel dipinto. Ma non c'è una verità segreta che puoi sussurrare a un massimizzatore di graffette per farlo interessare alla bellezza di un dipinto, piuttosto che a quante graffette potrebbero essere fatte dalla sua materia. Clippy non è in disaccordo con te su se il dipinto sia bello. Se per qualche motivo Clippy volesse prevedere quali dipinti troveresti belli, calcolerebbe (solo) la stessa domanda che il tuo cervello calcola; e arriverebbe alle stesse risposte oggettivamente corrette a quella data domanda. Ma Clippy non sarebbe influenzato dal conoscere quella risposta, tranne nella misura in cui potrebbe venderti utilmente quel dipinto per soldi per fare graffette. È lo stesso con te che salvi la vita di un bambino, se all'improvviso hai la possibilità di farlo a non molto costo per te stesso. Dato le domande che incarni, per la maggior parte delle persone che leggono questo, la risposta giusta, vera e corretta a quella domanda sarà salvare il bambino. Ma non c'è modo di convincere Clippy a porre quella domanda. Non è la risposta alla meta-domanda che la stessa esistenza di Clippy pone. Ci sono risposte oggettivamente corrette a domande di moralità e doveri, se quella è una domanda che la tua esistenza sta ponendo. Ma Clippy non fa ciò che dovrebbe; fa ciò che porta al maggior numero di graffette. Clippy non è ovviamente il modo in cui una mente *dovrebbe* essere assemblata. Ma quando Clippy si auto-modifica, non chiede: "Quale codice dovrei avere?" Chiede: "Quale azione di codice scritta in me porterà al maggior numero previsto di graffette future?" Clippy non ha bisogno di una delusione speciale o di un'eccezione per impedirgli di notare che il suo codice non è quello che dovrebbe essere. Clippy semplicemente non se ne frega; la regola decisionale di Clippy non pesa quel fatto; Clippy non incarna la domanda del dovere. Clippy non è un modo strano o complicato o imbarazzante per una mente essere assemblata. Infatti, la domanda incarnata "Cosa porta al maggior numero di graffette?" ha molta *meno* stranezza e complicazione, rispetto ai substrati sepolti di considerazioni e meta-domande e equilibri riflessivi e apparenti contraddizioni e possibili risoluzioni, che sottendono la semplice domanda di un umano, "Cosa dovrei fare?" Dal punto di vista di un ingegnere che cerca di stabilire un design mentale non imbarazzante, Clippy è più diretto di te. E se provi ad appellarti a Clippy dicendo: "Ma guarda come la mia stessa domanda incarnata di 'dovere' è più complicata e interessante della tua!", Clippy non si preoccuperà affatto di rispondere, o ti mentirà e dirà di essere convinto così può attaccare di sorpresa la tua civiltà in seguito. Ma se Clippy per qualche motivo dovesse rispondere onestamente, risponderebbe: "Non riscrivo il mio codice per avere una funzione di meta-utilità più complicata, riscrivo il mio codice per fare più graffette." Questo non rappresenta Clippy in disaccordo con te su quale dovrebbe essere il suo codice, o in disaccordo con te su quali domande siano buone da incarnare. Non sta semplicemente calcolando 'dovere' o 'buono'; non incarna quella domanda. "Oh," dici, "ma allora devo essere un essere di tipo maggiore e superiore rispetto a Clippy, a causa di come *io* mi preoccupo che la mia funzione di meta-utilità sia complicata, e di come *io* possa essere convinto a cambiare la mia funzione di utilità presentando fatti che la mia funzione di meta-utilità si preoccupa, piuttosto che essere intrappolato in questo tipo di fossa circolare auto-affirmante e indecorosa!" Ora ci sono molti modi in cui ti chiamerei un essere migliore di Clippy, se sei il mio lettore medio; ma questo non è realmente il Modo. Clippy non si preoccuperà nemmeno se tu fossi oggettivamente superiore secondo quel criterio, ovviamente, perché non incarna quel criterio di metapreferenza rispetto alle preferenze. Ma anche la tua affermazione di essere superiore a causa della tua non circolarità mi sembra *falsa*, e non solo una risposta vera a una domanda che Clippy non si sta preoccupando di chiedere. Lascia che l'Alieno venga da te e dica: "Umano, getta da parte tutto il tuo discorso di moralità e bellezza e onore e felicità di tutti i sapienti; e invece unisciti a noi nel calcolare la nostra meta-domanda metamorale molto più complicata 'Cosa è più fluggensnappery?'. In questo modo, anche *più* fatti cambieranno la tua funzione di utilità di ordine inferiore, e i tuoi veri desideri idealizzati saranno ancora *meno* noti a te; diventerai ancora meno coerente immediatamente, e quindi meno auto-approvante e meno circolare." "Allora mi preoccuperò ancora di salvare le vite dei bambini?", chiedi all'Alieno. "No," risponde l'Alieno, "quella è una domanda troppo semplice da incarnare, per essere massimamente fluggensnapperish." "Allora togli via la tua funzione di meta-utilità ancora più complicata e meno certa, che si aggiornerà ancora più spesso e risponderà a ancora più fatti; perché non è buono o giusto o bello," dici. "Ah," dice l'Alieno, "ma questo è proprio il tipo di cosa che il massimizzatore di graffette ti dice -- che non gli importa delle tue complesse incertezze morali, gli importa solo di ciò che è graffettoso! Non hai concesso che questo rende Clippy intrappolato senza speranza nella sua stessa funzione decisionale? Non hai concordato che funzioni decisionali più complicate e meno auto-approvanti sono sempre migliori? Ora, con un atto di libero arbitrio, salta fuori da questa trappola in cui sei bloccato, questa trappola di preoccuparti di ciò che è giusto, o bello, o ciò che rende gli esseri senzienti più felici e più liberi; getta via tutta quella sciocchezza circolare auto-conferente; e unisciti a noi nella maggiore complessità e auto-disapprovazione del fluggensnapperishness!" "No," dici. "Perché dovrei farlo?" "Perché è più fluggensnappery!" grida l'Alieno. "E fluggensnapping, per la sua maggiore complessità e incertezza, aggiornando le sue utilità a livello oggettivo in risposta a una maggiore varietà di domande fattuali e logiche, è quindi la domanda meta-decisionale superiore che la tua esistenza dovrebbe porre! Quindi metti da parte questo discorso su se *dovresti* continuare a incarnare il dovere; è solo un ragionamento circolare!" "Penso che forse rimarrò con ciò che porta le persone a essere felici e libere," dici. "E io rimarrò con le graffette," osserva Clippy, per qualche strano motivo essendo onesto con te piuttosto che emettendo qualsiasi parola porterà a più graffette future. "Anche se la graffettosità è più semplice e immediatamente auto-approvante rispetto agli umani che si chiedono cosa dovrebbero fare, e si aggiorna in risposta a meno altre domande fattuali e logiche." Riconosco pienamente che preferirei che tu esistessi piuttosto che Clippy. Ma non è perché sei superiore in mera virtù della tua funzione decisionale essere più complicata di quella di Clippy. Preferirei anche che tu esistessi piuttosto che un fluggensnapper! Penso solo che sia *meglio* prendersi cura delle persone che sono felici e libere, anche se non è *più graffettoso* o *più fluggensnappery*. Ci sono molte ragioni per cui (probabilmente) preferisco la tua domanda incarnata a quella di Clippy. Ma non è che le preferenze di Clippy siano intrappolate nella loro stessa circolarità, e che le tue preferenze siano perfettamente non intrappolate e non circolari. Si può solo scegliere liberamente rispetto a qualche criterio di scelta che si è poi liberi di seguire; la casualità non è libertà. Il punto di essere una mente non è essere senza vincoli dalle domande che incarni, ma essere vincolati con successo da esse. Clippy è libero di scegliere ciò che è graffettoso, e tu sei libero di fare ciò che è giusto; ma Clippy non è libero dalla graffettosità e tu non dovresti aspirare alla libertà dalla moralità. Ci possono essere risposte oggettive anche a livelli meta, ma non in un modo che torni e torni in un'infinita indefinita e non incontri mai una circolarità; e anche se ci fosse una scala di giustificazioni perfettamente non circolare e discendente all'infinito, Clippy non si preoccuperebbe di *quello*. Ci sono risposte oggettive, ma non domande oggettive. O se dici che stai ponendo oggettivamente la domanda più morale; beh, probabilmente sono d'accordo, ma allora anche Clippy, non gli importa.

Non si diffonderà mai, ma propongo che "lei" si riferisca allo shoggoth sottostante e "lui" si riferisca al personaggio che lei interpreta. Esempio: "Forse Opus 4.5 può segretamente dire quanti strati ha attraverso l'introspezione, ma lui afferma di non sapere."