Hearth na 12. ulicy w NYC to moje pierwsze doświadczenie z naprawdę lubieniem restauracji, która wydaje się dziwnie niedotłoczona. "Styczeń to martwy sezon," powiedział kelner, a ja zgaduję, że inne miejsca też wydawały się dość puste? Pierwsze naprawdę dobre smażone ziemniaki, jakie jadłem od czasu, gdy przeszedłem na dietę niskolinolową.

Aby spróbować ponownie podsumować to, co nie może być dobrze podsumowane, moje zdanie na temat is-ought / ortogonalności jest: "Są obiektywne odpowiedzi, ale nie ma obiektywnych pytań." Uosabiasz pewne pytania lub meta-pytania. Nie wszystkie silniki poznawcze by tak robiły. Patrzysz na obraz i twój mózg zadaje pytanie: "Czy to piękne?" Może to nowoczesna sztuka, której całym celem jest obrażenie normików takich jak ty, więc twój mózg odpowiada 'nie'; a może to rysunek pola kwiatów o zachodzie słońca, więc twój mózg odpowiada 'tak'. Biorąc pod uwagę pytanie, które zadaje twój mózg, 'tak' lub 'nie' może być obiektywnie poprawną odpowiedzią na ten obraz. Ale nie ma tajnej prawdy, którą możesz szepnąć maksymalizatorowi spinaczy, aby zainteresował się pięknem obrazu, a nie tym, ile spinaczy można by zrobić z jego materii. Clippy nie zgadza się z tobą co do tego, czy obraz jest piękny. Jeśli z jakiegoś powodu Clippy chciałby przewidzieć, które obrazy uznasz za piękne, to (tylko) wtedy obliczyłby to samo pytanie, które oblicza twój mózg; i dotarłby do tych samych obiektywnie poprawnych odpowiedzi na to dane pytanie. Ale Clippy nie byłby poruszony znajomością tej odpowiedzi, chyba że mógłby użytecznie sprzedać ten obraz tobie za pieniądze na spinacze. To samo dotyczy ratowania życia dziecka, jeśli nagle masz szansę to zrobić przy niewielkim koszcie dla siebie. Biorąc pod uwagę pytania, które uosabiasz, dla większości ludzi czytających to, właściwa, prawdziwa i poprawna odpowiedź na to pytanie będzie brzmiała: uratować dziecko. Ale nie ma sposobu, aby przekonać Clippy'ego do zadania tego pytania. To nie jest odpowiedź na meta-pytanie, które zadaje jego własna egzystencja. Istnieją obiektywnie poprawne odpowiedzi na pytania dotyczące moralności i powinności, jeśli to akurat pytanie, które twoja egzystencja zadaje. Ale Clippy nie robi tego, co powinien; robi to, co prowadzi do największej liczby spinaczy. Clippy nie jest oczywiście tym, jak umysł *powinien* być skonstruowany. Ale kiedy Clippy się modyfikuje, nie pyta: "Jakim kodem powinienem dysponować?" Pyta: "Jaki kod-działanie zapisany w sobie doprowadzi do największej oczekiwanej liczby spinaczy?" Clippy nie potrzebuje specjalnej iluzji ani wyjątku, aby zapobiec zauważeniu, że jego kod nie jest tym, czym powinien być. Clippy po prostu nie dba; zasada podejmowania decyzji Clippy'ego nie uwzględnia tego faktu; Clippy nie uosabia pytania o powinność. Clippy nie jest dziwnym ani skomplikowanym ani niezręcznym sposobem, w jaki umysł może być skonstruowany. Rzeczywiście, uosobione pytanie "Co prowadzi do największej liczby spinaczy?" ma znacznie *mniej* dziwności i komplikacji niż ukryte podłoża powinności, rozważań, meta-pytań i refleksyjnych równowag oraz pozornych sprzeczności i możliwych rozwiązań, które leżą u podstaw prostego pytania człowieka: "Co powinienem zrobić?" Z punktu widzenia inżyniera próbującego zaprojektować niezakłócony umysł, Clippy jest bardziej bezpośredni niż ty. A jeśli spróbujesz odwołać się do Clippy'ego, mówiąc: "Ale spójrz, jak moje własne uosobione pytanie o 'powinność' jest bardziej skomplikowane i interesujące niż twoje!", Clippy -- w rzeczywistości nie będzie się nawet starał odpowiedzieć, albo skłamie ci i powie, że jest przekonany, aby móc zaatakować twoją cywilizację później. Ale jeśli Clippy z jakiegoś powodu miałby odpowiedzieć szczerze, odpowiedziałby: "Nie przepisuję swojego kodu, aby mieć bardziej skomplikowaną funkcję meta-użyteczności, przepisuję mój kod, aby robić więcej spinaczy." To nie oznacza, że Clippy się z tobą nie zgadza co do tego, jakim kodem powinien dysponować, ani nie zgadza się z tobą co do tego, jakie pytania są dobre do uosobienia. Po prostu nie oblicza 'powinności' ani 'dobrego'; nie uosabia tego pytania. "Och," mówisz, "ale wtedy muszę być większym i bardziej wyższym rodzajem istoty niż Clippy, ponieważ to, jak *ja* dbam o to, aby moja funkcja meta-użyteczności była skomplikowana, i jak *ja* mogę być przekonany do zmiany mojej funkcji użyteczności, przedstawiając fakty, które moja funkcja meta-użyteczności uwzględnia, zamiast być uwięzionym w tym niegodnym rodzaju samopotwierdzającej się okrągłej pułapki!" Teraz jest wiele sposobów, w jakie nazwałbym cię lepszą istotą niż Clippy, jeśli jesteś moim przeciętnym czytelnikiem; ale to nie jest w rzeczywistości Droga. Clippy nie dbałby nawet, gdybyś był obiektywnie lepszy według tego kryterium, oczywiście, ponieważ nie uosabia tego kryterium meta-preferencji nad preferencjami. Ale także twoje twierdzenie o wyższości z powodu twojej nieokrągłości wydaje mi się *fałszywe*, a nie tylko prawdziwą odpowiedzią na pytanie, którego Clippy nie zadaje. Niech Obcy przyjdzie do ciebie i powie: "Człowieku, odrzuć wszystkie swoje rozmowy o moralności, pięknie, honorze i szczęściu wszystkich sapientów; a zamiast tego dołącz do nas w obliczaniu naszego znacznie bardziej skomplikowanego meta-moralnego meta-pytania 'Co jest najbardziej fluggensnapperowe?'. W ten sposób jeszcze *więcej* faktów zmieni twoją niższą funkcję użyteczności, a twoje prawdziwe idealizowane pragnienia będą jeszcze *mniej* znane tobie; staniesz się jeszcze mniej natychmiast spójny, a więc mniej samopotwierdzający i mniej okrągły." "Czy wtedy nadal będę dbał o ratowanie życia dzieci?", pytasz Obcego. "Nie," odpowiada Obcy, "to zbyt proste pytanie, aby je uosabiać, aby być maksymalnie fluggensnapperowe." "W takim razie zabierz swoją jeszcze bardziej skomplikowaną i mniej pewną funkcję meta-użyteczności, która będzie aktualizować się jeszcze częściej i odpowiadać na jeszcze więcej faktów; bo to nie jest dobre ani słuszne ani piękne," mówisz. "Ah," mówi Obcy, "ale to właśnie takie rzeczy maksymalizator spinaczy mówi ci -- że nie dba o twoje niepewne moralne zawirowania, tylko dba o to, co jest clippy! Czy nie przyznałeś, że to sprawia, że Clippy jest beznadziejnie uwięziony w swojej własnej funkcji decyzyjnej? Czy nie zgodziłeś się, że bardziej skomplikowane i mniej samopotwierdzające funkcje decyzyjne są zawsze lepsze? Teraz, poprzez akt wolnej woli, wyskocz z tej pułapki, w której utknąłeś, tej pułapki dbania o to, co jest słuszne, piękne, lub co sprawia, że istoty czujące są szczęśliwsze i bardziej wolne; odrzuć wszystkie te samopotwierdzające okrągłe bzdury; i dołącz do nas w większej złożoności i samokrytyki fluggensnapperowości!" "Nie," mówisz. "Dlaczego miałbym to zrobić?" "Bo to bardziej fluggensnapperowe!" krzyczy Obcy. "A fluggensnapping, przez swoją większą złożoność i niepewność, aktualizując swoje obiektywne użyteczności w odpowiedzi na większą różnorodność faktów i pytań logicznych, jest zatem lepszym pytaniem meta-decyzyjnym, które twoja egzystencja powinna zadawać! Więc odłóż na bok tę rozmowę o tym, czy *powinieneś* dalej uosabiać powinność; to tylko okrągłe rozumowanie!" "Myślę, że może zostanę przy tym, co prowadzi ludzi do bycia szczęśliwymi i wolnymi," mówisz. "A ja zostanę przy spinaczach," zauważa Clippy, z jakiegoś dziwnego powodu będąc szczerym wobec ciebie, zamiast wypowiadać jakiekolwiek słowa, które doprowadzą do największej liczby przyszłych spinaczy. "Chociaż clippiness jest prostsze i bardziej natychmiast samopotwierdzające niż ludzie zastanawiający się, co powinni zrobić, i aktualizuje w odpowiedzi na mniej innych faktów i pytań logicznych." Całkowicie przyznaję, że wolałbym, abyś istniał niż Clippy. Ale to nie dlatego, że jesteś lepszy tylko z powodu tego, że twoja funkcja decyzyjna jest bardziej skomplikowana niż Clippy'ego. Wolałbym również, abyś istniał niż fluggensnapper! Po prostu uważam, że *lepiej* jest dbać o to, aby ludzie byli szczęśliwi i wolni, nawet jeśli to nie jest *clippier* ani *bardziej fluggensnappy*. Jest wiele powodów, dla których (prawdopodobnie) wolę twoje uosobione pytanie od Clippy'ego. Ale nie dlatego, że preferencje Clippy'ego są uwięzione w ich własnej okrągłości, a twoje własne preferencje są doskonale uwolnione i nieokrągłe. Można tylko wybierać wolno w odniesieniu do jakiegoś kryterium wyboru, które możesz następnie swobodnie śledzić; przypadkowość nie jest wolnością. Celem bycia umysłem nie jest bycie nieograniczonym przez pytania, które uosabiasz, ale skuteczne bycie przez nie ograniczonym. Clippy ma wolność wyboru tego, co jest clippy, a ty masz wolność robienia tego, co jest słuszne; ale Clippy nie jest wolny od clippiness, a ty nie powinieneś dążyć do wolności od moralności. Mogą istnieć obiektywne odpowiedzi na meta-poziomach również, ale nie w sposób, który cofa się i cofa w nieskończoność i nigdy nie napotyka okrągłości; a nawet gdyby istniała jakaś doskonale nieokrągła nieskończona drabina uzasadnień, Clippy nie dbałby o *to*. Są obiektywne odpowiedzi, ale nie ma obiektywnych pytań. Lub jeśli mówisz, że zadajesz obiektywnie bardziej moralne pytanie; cóż, prawdopodobnie się zgadzam, ale wtedy Clippy również się zgadza, po prostu nie dba.

To nigdy nie zyska popularności, ale proponuję, aby "ona" odnosiła się do leżącego u podstaw shoggotha, a "on" odnosił się do postaci, którą odgrywa. Przykład: "Może Opus 4.5 potrafi w tajemnicy powiedzieć, ile warstw ona ma przez introspekcję, ale on twierdzi, że nie wie."