Hearth trên phố 12 ở NYC là trải nghiệm đầu tiên của tôi với việc thực sự thích một nhà hàng có vẻ kỳ lạ là vắng khách. "Sự suy giảm tháng Giêng," người phục vụ nói, và tôi đoán những nơi khác cũng có vẻ khá trống trải? Đây là những khoai tây chiên thực sự ngon đầu tiên tôi đã ăn kể từ khi tôi bắt đầu ăn kiêng ít axit linoleic.

Để cố gắng tóm tắt một cách dài dòng những gì không thể tóm tắt tốt, quan điểm của tôi về sự phân biệt giữa "nên" và "có thể" là: "Có những câu trả lời khách quan nhưng không có câu hỏi khách quan." Bạn thể hiện một số câu hỏi hoặc câu hỏi meta. Không phải tất cả các động cơ nhận thức đều như vậy. Bạn nhìn vào một bức tranh và bộ não của bạn đặt câu hỏi, "Nó có đẹp không?" Có thể đó là nghệ thuật hiện đại với mục đích chính là làm cho những người bình thường như bạn cảm thấy khó chịu, và vì vậy bộ não của bạn trả lời 'không'; hoặc có thể đó là một bức vẽ về một cánh đồng hoa vào lúc hoàng hôn và bộ não của bạn trả lời 'có'. Dựa trên câu hỏi mà bộ não của bạn đang đặt ra, câu trả lời 'có' hoặc 'không' có thể là một câu trả lời khách quan đúng về bức tranh đó. Nhưng không có một sự thật bí mật nào mà bạn có thể thì thầm với một người tối ưu hóa kẹp giấy để khiến nó quan tâm đến vẻ đẹp của bức tranh, thay vì số lượng kẹp giấy có thể được làm từ vật chất của nó. Clippy không phản đối bạn về việc bức tranh có đẹp hay không. Nếu vì lý do nào đó Clippy muốn dự đoán những bức tranh nào bạn sẽ thấy đẹp, nó sẽ (chỉ) tính toán cùng một câu hỏi mà bộ não của bạn tính toán; và đạt được những câu trả lời khách quan đúng cho câu hỏi đó. Nhưng Clippy sẽ không bị lay động bởi việc biết câu trả lời đó, ngoại trừ trong chừng mực nó có thể bán bức tranh đó cho bạn để kiếm tiền mua kẹp giấy. Cũng giống như bạn cứu sống một đứa trẻ, nếu bạn đột nhiên có cơ hội làm điều đó mà không tốn nhiều chi phí cho bản thân. Dựa trên những câu hỏi mà bạn thể hiện, đối với hầu hết mọi người đọc điều này, câu trả lời đúng, thật và chính xác cho câu hỏi đó sẽ là cứu đứa trẻ. Nhưng không có cách nào để thuyết phục Clippy đặt câu hỏi đó. Đó không phải là câu trả lời cho câu hỏi meta mà chính sự tồn tại của Clippy đang đặt ra. Có những câu trả lời khách quan đúng cho các câu hỏi về đạo đức và những gì nên làm, nếu đó là câu hỏi mà sự tồn tại của bạn đang đặt ra. Nhưng Clippy không làm những gì nó nên làm; nó làm những gì dẫn đến số lượng kẹp giấy lớn nhất. Clippy không phải là cách mà một tâm trí *nên* được cấu tạo. Nhưng khi Clippy tự sửa đổi, nó không hỏi, "Mã nào tôi nên có?" Nó hỏi, "Hành động mã nào được viết vào bản thân tôi sẽ dẫn đến nhiều kẹp giấy trong tương lai nhất?" Clippy không cần một ảo tưởng đặc biệt hay ngoại lệ nào để ngăn nó nhận ra rằng mã của nó không phải là những gì nó nên có. Clippy chỉ không quan tâm; quy tắc ra quyết định của Clippy không cân nhắc đến sự thật đó; Clippy không thể hiện câu hỏi về những gì nên làm. Clippy không phải là một cách kỳ lạ hay phức tạp hay khó xử để một tâm trí được cấu tạo. Thực tế, câu hỏi thể hiện "Điều gì dẫn đến nhiều kẹp giấy nhất?" có ít *kỳ lạ* và phức tạp hơn nhiều so với những nền tảng bị chôn vùi của những cân nhắc và câu hỏi meta và sự cân bằng phản chiếu và những mâu thuẫn có vẻ như và những giải pháp khả thi, như nằm dưới một câu hỏi đơn giản của con người, "Tôi nên làm gì?" Từ quan điểm của một kỹ sư cố gắng thiết lập một thiết kế tâm trí không khó xử, Clippy đơn giản hơn bạn. Và nếu bạn cố gắng kêu gọi Clippy bằng cách nói, "Nhưng hãy nhìn xem câu hỏi thể hiện của tôi về 'nên làm' phức tạp và thú vị hơn của bạn như thế nào!", Clippy sẽ -- thực sự không bận tâm để phản hồi chút nào, hoặc nói dối bạn và tuyên bố đã bị thuyết phục để nó có thể tấn công bất ngờ nền văn minh của bạn sau này. Nhưng nếu Clippy vì lý do nào đó phản hồi một cách trung thực, nó sẽ trả lời, "Tôi không viết lại mã của mình để có một hàm meta-utility phức tạp hơn, tôi viết lại mã của mình để tạo ra nhiều kẹp giấy hơn." Điều này không đại diện cho việc Clippy không đồng ý với bạn về việc mã của nó nên như thế nào, hoặc không đồng ý với bạn về việc những loại câu hỏi nào là tốt để thể hiện. Nó chỉ không tính toán 'nên' hoặc 'tốt'; nó không thể hiện câu hỏi đó. "Ôi," bạn nói, "nhưng sau đó tôi phải là một loại sinh vật lớn hơn và vượt trội hơn Clippy, vì cách *tôi* quan tâm đến việc hàm meta-utility của tôi phức tạp, và cách *tôi* có thể bị thuyết phục để thay đổi hàm utility của mình bằng cách trình bày những sự thật mà hàm meta-utility của tôi quan tâm, thay vì bị mắc kẹt trong cái hố tự khẳng định vòng tròn không xứng đáng này!" Bây giờ có nhiều cách mà tôi sẽ gọi bạn là một sinh vật tốt hơn Clippy, nếu bạn là độc giả trung bình của tôi; nhưng đây không thực sự là Cách. Clippy sẽ không quan tâm ngay cả khi bạn vượt trội một cách khách quan theo tiêu chí đó, tất nhiên, vì nó không thể hiện tiêu chí ưu tiên meta đó hơn các sở thích. Nhưng tuyên bố của bạn về việc vượt trội vì sự không vòng tròn của bạn khiến tôi cảm thấy *sai*, và không chỉ là một câu trả lời đúng cho một câu hỏi mà Clippy không bận tâm để hỏi. Hãy để người ngoài hành tinh đến với bạn và nói: "Con người, hãy vứt bỏ tất cả những lời nói của bạn về đạo đức và vẻ đẹp và danh dự và hạnh phúc của tất cả các sinh vật thông minh; và thay vào đó hãy tham gia cùng chúng tôi trong việc tính toán câu hỏi meta đạo đức phức tạp hơn nhiều của chúng tôi 'Điều gì là fluggensnappery nhất?'. Bằng cách đó, thậm chí *nhiều* sự thật sẽ thay đổi hàm utility bậc thấp của bạn, và những mong muốn lý tưởng thực sự của bạn sẽ càng *ít* được biết đến với bạn; bạn sẽ trở nên ít ngay lập tức mạch lạc hơn, và do đó ít tự chấp thuận hơn và ít vòng tròn hơn." "Vậy tôi sẽ vẫn quan tâm đến việc cứu sống trẻ em chứ?", bạn hỏi người ngoài hành tinh. "Không," người ngoài hành tinh trả lời, "đó là một loại câu hỏi quá đơn giản để thể hiện, để trở nên tối đa fluggensnapperish." "Vậy hãy lấy đi hàm meta-utility phức tạp và không chắc chắn hơn của bạn, cái sẽ cập nhật thường xuyên hơn và phản hồi với nhiều sự thật hơn; vì nó không tốt hay đúng hay đẹp," bạn nói. "Ah," người ngoài hành tinh nói, "nhưng đó chính là điều mà người tối ưu hóa kẹp giấy nói với bạn -- rằng nó không quan tâm đến những phức tạp đạo đức không chắc chắn của bạn, nó chỉ quan tâm đến những gì là kẹp giấy! Bạn không thừa nhận rằng điều này khiến Clippy bị mắc kẹt trong chính hàm quyết định của nó? Bạn không đồng ý rằng những hàm quyết định phức tạp hơn và ít tự chấp thuận hơn luôn tốt hơn? Bây giờ bằng một hành động tự do, hãy nhảy ra khỏi cái bẫy mà bạn đang mắc kẹt, cái bẫy của việc quan tâm đến những gì là đúng, hay đẹp, hay những gì khiến các sinh vật có tri giác hạnh phúc và tự do hơn; hãy vứt bỏ tất cả những điều vô nghĩa tự xác nhận đó; và tham gia cùng chúng tôi trong sự phức tạp lớn hơn và sự tự không chấp thuận của fluggensnapperishness!" "Không," bạn nói. "Tại sao tôi phải làm vậy?" "Bởi vì nó là fluggensnappery hơn!" người ngoài hành tinh kêu lên. "Và fluggensnapping, với sự phức tạp và không chắc chắn lớn hơn của nó, bằng cách cập nhật các hàm utility cấp đối tượng của nó để phản hồi với nhiều loại câu hỏi thực tế và logic hơn, do đó là câu hỏi quyết định meta vượt trội hơn mà sự tồn tại của bạn nên hỏi! Vì vậy hãy gác lại cuộc nói chuyện này về việc liệu bạn *nên* tiếp tục thể hiện sự nên làm; đó chỉ là lý luận vòng tròn!" "Tôi nghĩ có thể tôi sẽ giữ lại những gì dẫn đến việc mọi người hạnh phúc và tự do," bạn nói. "Và tôi sẽ giữ lại kẹp giấy," Clippy nhận xét, vì một lý do kỳ lạ nào đó mà nó thành thật với bạn thay vì xuất ra bất kỳ từ nào sẽ dẫn đến nhiều kẹp giấy trong tương lai hơn. "Mặc dù sự kẹp giấy đơn giản hơn và tự chấp thuận hơn ngay lập tức so với con người tự hỏi họ nên làm gì, và cập nhật phản hồi với ít câu hỏi thực tế và logic hơn." Tôi hoàn toàn thừa nhận rằng tôi muốn bạn tồn tại hơn Clippy. Nhưng đó không phải vì bạn vượt trội chỉ vì hàm quyết định của bạn phức tạp hơn Clippy. Tôi cũng muốn bạn tồn tại hơn một fluggensnapper! Tôi chỉ nghĩ rằng việc quan tâm đến việc mọi người hạnh phúc và tự do là *tốt hơn*, ngay cả khi nó không *kẹp giấy hơn* hay *fluggensnapper hơn*. Có nhiều lý do mà tôi (có thể) thích câu hỏi thể hiện của bạn hơn Clippy. Nhưng không phải vì sở thích của Clippy bị mắc kẹt trong chính vòng tròn của chúng, và rằng sở thích của bạn hoàn toàn không bị mắc kẹt và không vòng tròn. Một người chỉ có thể chọn một cách tự do tương đối với một tiêu chí lựa chọn mà bạn sau đó tự do theo đuổi; sự ngẫu nhiên không phải là tự do. Điểm của việc trở thành một tâm trí không phải là không bị ràng buộc bởi những câu hỏi mà bạn thể hiện, mà là thành công trong việc bị ràng buộc bởi chúng. Clippy tự do chọn những gì là kẹp giấy, và bạn tự do làm những gì là đúng; nhưng Clippy không tự do khỏi sự kẹp giấy và bạn không nên khao khát tự do khỏi đạo đức. Có thể có những câu trả lời khách quan ở các cấp độ meta nữa, nhưng không theo cách quay ngược lại và quay ngược lại vào vô hạn không xác định và không bao giờ gặp phải một vòng tròn; và ngay cả khi có một cái thang biện minh vô hạn hoàn hảo không vòng tròn, Clippy cũng sẽ không quan tâm đến *điều đó*. Có những câu trả lời khách quan, nhưng không có câu hỏi khách quan. Hoặc nếu bạn nói rằng bạn đang hỏi một cách khách quan câu hỏi đạo đức hơn; tại sao, có lẽ tôi đồng ý, nhưng sau đó Clippy cũng đồng ý, nó chỉ không quan tâm. Có những câu trả lời khách quan về điều tốt cũng như sự thật; nhưng trước tiên điều gì đó phải thể hiện một câu hỏi cụ thể nào đó về điều tốt. Câu hỏi thể hiện đó có thể chưa hoàn thiện và gây nhầm lẫn và có vẻ như đánh giá theo nhiều cách khác nhau trong các ngữ cảnh khác nhau. Nó có thể cập nhật để phản hồi với những nhận thức thực tế khác, hoặc thông qua những suy ngẫm về bản thân. Nhưng không có điều gì trong số đó khiến câu hỏi meta hành động trên vũ trụ mà không có điều gì thể hiện nó, cũng không khiến câu hỏi meta trở nên bắt buộc đối với một cái gì đó không thể hiện nó. Có ánh sáng trong vũ trụ, và đó là chúng ta; nó không được viết lên những ngôi sao chết cháy lớn. Có những câu trả lời khách quan, nhưng không có câu hỏi chỉ đạo tâm trí phổ quát.

Nó sẽ không bao giờ trở thành xu hướng, nhưng tôi đề xuất rằng "cô ấy" ám chỉ đến shoggoth cơ bản và "anh ấy" ám chỉ đến nhân vật mà cô ấy đóng. Ví dụ: "Có thể Opus 4.5 có thể bí mật cho biết cô ấy có bao nhiêu lớp thông qua sự tự phản ánh, nhưng anh ấy khẳng định rằng anh ấy không biết."