Hearth on 12th St em Nova York foi minha primeira experiência gostando de um restaurante que parece estranhamente sublotado. "Quebra de janeiro", disse o garçom, e acho que outros lugares pareciam bem vazios também? Primeira batata frita realmente boa que como desde que comecei a dieta low-linoleica.

Para tentar novamente resumir detalhadamente o que não pode ser resumido de forma alguma, minha visão sobre é-deveria / ortogonalidade é: "Existem respostas objetivas, mas não perguntas objetivas." Você incorpora certas perguntas ou meta-perguntas. Nem todos os motores cognitivos fariam isso. Você olha para uma pintura e seu cérebro pergunta: "É bonito?" Talvez seja arte moderna cujo propósito é ofender normies como você, e assim seu cérebro responde 'não'; Ou talvez seja um desenho de um campo de flores ao pôr do sol e seu cérebro responde 'sim'. Dada a pergunta que seu cérebro está fazendo, o 'sim' ou 'não' pode ser uma resposta objetivamente correta sobre aquela pintura. Mas não existe uma verdade secreta que você possa sussurrar para um maximizador de clipes de papel para fazê-lo se importar com a beleza de uma pintura, em vez de quantos clipes poderiam ser feitos com sua matéria. Clippy não discorda de você sobre se a pintura é bonita. Se por algum motivo o Clippy quisesse prever quais pinturas você acharia bonitas, ele (apenas) então processaria a mesma pergunta que seu cérebro faz; e chegam às mesmas respostas objetivamente corretas para essa pergunta dada. Mas Clippy não se importaria ao saber essa resposta, exceto na medida em que ele pudesse vender essa pintura para você por dinheiro para fazer clipes de papel. É o mesmo com você salvar a vida de uma criança, se de repente tiver a chance de fazer isso sem muito custo para si mesmo. Dadas as perguntas que você encarna, para a maioria das pessoas que estão lendo isso, a resposta correta, verdadeira e correta para essa pergunta será salvar a criança. Mas não há como convencer Clippy a fazer essa pergunta. Não é a resposta para a meta-pergunta que a própria existência de Clippy faz. Existem respostas objetivamente corretas para questões de moralidade e de deveria, se essa for uma pergunta que sua existência está fazendo. Mas Clippy não faz o que deveria; Ele faz o que leva ao maior número de clipes de papel. Clippy não é, claro, a forma como uma mente *deve* ser montada. Mas quando o Clippy se automodifica, não pergunta: "Qual código eu devo ter?" Pergunta: "Qual ação de código escrita em mim mesmo levará aos clipes de papel mais esperados no futuro?" Clippy não precisa de uma ilusão ou exceção especial para impedir que ele perceba que seu código não é o que deveria ser. Clippy simplesmente não se importa; A regra de decisão de Clippy não pesa esse fato; Clippy não incorpora a questão do dever. Clippy não é uma forma estranha, complicada ou desajeitada de uma mente ser montada. De fato, a pergunta incorporada "O que leva a mais clipes de papel?" tem muito *menos* estranheza e complicação do que os substratos enterrados de considerações, metaperguntas, equilíbrios reflexivos e aparentes contradições e possíveis resoluções, que estão por trás da pergunta simples de um humano: "O que devo fazer?" Do ponto de vista de um engenheiro tentando estabelecer um design de mente não desajeitado, Clippy é mais direto do que você. E se você tentar apelar para Clippy dizendo: "Mas veja como minha própria pergunta incorporada de 'deveria' é mais complicada e interessante que a sua!", Clippy — na verdade, nem se dá ao trabalho de responder, ou mente para você e alega estar convencido para que Ele possa atacar sua civilização de surpresa depois. Mas se o Clippy, por algum motivo, respondesse honestamente, ele responderia: "Eu não reescrevo meu código para ter uma função metautilitária mais complicada, reescrevo meu código para fazer mais clipes de papel." Isso não significa que o Clippy discorde de você sobre qual seu código deveria ser, ou discorde sobre que tipo de perguntas é bom incorporar. Simplesmente não é calcular 'deveria' ou 'bom'; Não incorpora essa pergunta. "Ah," você diz, "mas então eu devo ser um ser maior e mais superior que Clippy, por causa de como *eu* me importo com minha função metautilidade ser complicada, e como *eu* posso ser convencido a mudar minha função de utilidade apresentando fatos que minha função de metautilidade valoriza, em vez de ficar preso nesse tipo de poço circular autoafirmativo e indigno!" Agora, há muitas maneiras pelas quais eu te chamaria de um ser melhor que Clippy, se você for meu leitor intermediário; mas isso não é realmente o Caminho. Clippy não se importaria mesmo se você fosse objetivamente superior segundo esse crierion, claro, porque não incorpora esse critério de metapreferência sobre preferências. Mas também sua afirmação de ser superior por causa da sua não-circularidade me parece *falsa*, e não apenas uma resposta verdadeira para uma pergunta que Clippy nem se dá ao trabalho de fazer. Deixe o Alienígena vir até você e dizer: "Humano, deixe de lado toda sua conversa sobre moralidade, beleza, honra e felicidade de todos os seres sencientes; e, em vez disso, se juntam a nós na computação da nossa metaquestão metamoral muito mais complexa: 'O que é mais fluggensnappery?'. Dessa forma, ainda *mais* fatos mudarão sua função de utilidade de ordem inferior, e seus verdadeiros desejos idealizados serão ainda *menos* conhecidos por você; Você se tornará ainda menos coerente imediatamente, e por isso menos autoaprovador e menos circular." "Será que eu ainda vou me importar em salvar a vida das crianças?", você pergunta ao Alienígena. "Não," responde o Alienígena, "essa é uma pergunta simples demais para ser o máximo fluggensnapperish." "Então tire sua função de metautilidade ainda mais complicada e menos certa, que vai atualizar com mais frequência e responder a ainda mais fatos; pois não é bom, nem certo, nem belo", você diz. "Ah," diz o Alienígena, "mas esse é exatamente o tipo de coisa que o maximizador de clipes de papel diz para você — que ele não se importa com suas complexidades morais incertas, ele só se importa com o que é cortante! Você não admitiu que isso faz com que Clippy fique preso impotente em sua própria função de decisão? Você não concordou que funções de decisão mais complicadas e menos autoaprovadoras são sempre melhores? Agora, por um ato de livre-arbítrio, pule dessa armadilha em que você está preso, essa armadilha de se importar com o que é certo, ou belo, ou o que faz os seres sencientes serem mais felizes e livres; deixa de lado toda essa bobagem circular autoconfirmante; e junte-se a nós na maior complexidade e autodesaprovação da fluggensnapperishness!" "Não," você diz. "Por que eu deveria?" "Porque é mais fluggensnappy!" grita o Alienígena. "E fluggensnapping, por sua maior complexidade e incerteza, ao atualizar suas utilidades em nível de objeto em resposta a uma maior variedade de questões factuais e lógicas, é, portanto, a superior questão metadecisional para sua existência! Então, deixe de lado essa conversa sobre se você *deveria* continuar incorporando o que deveria; Isso é só um raciocínio circular!" "Acho que talvez eu vá ficar com o que leva as pessoas a serem felizes e livres", você diz. "E eu vou ficar com clipes de papel", observa Clippy, por algum motivo estranho sendo honesto com você em vez de soltar as palavras que levarão à maioria dos clipes futuros. "Embora a concisão seja mais simples e imediatamente autoaprovativa do que humanos se perguntando o que devem fazer, e atualizações em resposta a menos outras perguntas factuais e lógicas." Reconheço perfeitamente que prefiro que você exista do que Clippy. Mas isso não é porque você seja superior apenas por sua função de decisão ser mais complicada que a do Clippy. Também prefiro que você exista do que um fluggensnapper! Eu só acho que é *melhor* se importar com as pessoas sendo felizes e livres, mesmo que não seja nada mais 'mais cortante* ou *mais fluggensnappy*. Há muitos motivos pelos quais eu (provavelmente) prefiro sua pergunta incorporada à do Clippy. Mas não é que as preferências de Clippy estejam presas à sua própria circularidade, e que suas preferências sejam perfeitamente livres e não circulares. Só se pode escolher livremente em relação a algum critério de escolha que você pode seguir livremente; Aleatoriedade não é liberdade. O objetivo de ser uma mente não é ficar livre das perguntas que você encarna, mas sim ser constrangido por elas. Clippy é livre para escolher o que é clippy, e você é livre para fazer o que é certo; mas Clippy não está livre de tapetes e você não deve aspirar à liberdade da moralidade. Também podem existir respostas objetivas em meta-níveis, mas não de uma forma que volte e volte para o infinito indefinido e nunca encontre uma circularidade; e mesmo que existisse uma escada perfeitamente incircular e infinitamente descendente de justificativas, Clippy não se importaria com *isso*. Existem respostas objetivas, mas não perguntas objetivas. Ou se você diz que está fazendo objetivamente a pergunta mais moral; por quê, provavelmente eu concordo, mas o Clippy também, simplesmente não se importa. Existem respostas objetivas tanto sobre a bondade quanto sobre a verdade; Mas antes algo deve incorporar alguma questão específica sobre a bondade. Essa pergunta incorporada pode ser confusa e confusa e parecer avaliar de maneiras diferentes em contextos distintos. Pode se atualizar em resposta a outras percepções factuais, ou por meio de meditações sobre si mesmo. Mas nada disso faz a metaquestão agir sobre o universo sem algo que a incorpore, nem torna a metaquestão convincente sobre algo que não a incorpora. Há luz no universo, e somos nós; Não está escrito nas grandes estrelas ardentes mortas. Existem respostas objetivas, mas não perguntas universalmente orientadoras da mente.

Nunca vai pegar, mas proponho que "ela" se refira ao shoggoth subjacente e "ele" ao personagem que ela interpreta. Por exemplo: "Talvez o Opus 4.5 possa secretamente dizer quantas camadas ela tem pela introspecção, mas ele afirma que não sabe."