熱門話題
#
Bonk 生態迷因幣展現強韌勢頭
#
有消息稱 Pump.fun 計劃 40 億估值發幣,引發市場猜測
#
Solana 新代幣發射平臺 Boop.Fun 風頭正勁

Eliezer Yudkowsky
最初的 AI 對齊人員 @ESYudkowsky 的大量帳戶。 如果缺少標點符號,那就是幽默。 如果你看不出來,那可能也是幽默。
再次嘗試詳細總結那些根本無法很好總結的內容,我對於是-應該/正交性的看法是:"有客觀的答案,但沒有客觀的問題。"
你體現了某些問題或元問題。並非所有的認知引擎都會這樣。你看著一幅畫,你的大腦問道:"它美嗎?" 也許這是一幅現代藝術作品,其整個目的是冒犯像你這樣的普通人,因此你的大腦回答'不';或者這是一幅日落時分的花田畫作,因此你的大腦回答'是'。根據你大腦所問的問題,'是'或'不'可能是對那幅畫的客觀正確答案。但並沒有一個秘密的真理可以告訴一個紙夾最大化者,讓它關心一幅畫的美,而不是它的物質能製造多少紙夾。
Clippy並不反對你對於那幅畫是否美的看法。如果出於某種原因Clippy想預測你會認為哪些畫是美的,它才會計算你大腦所計算的同一問題;並對那個問題得出相同的客觀正確答案。但Clippy對於知道那個答案並不感興趣,除非它能夠有用地將那幅畫賣給你以賺取製造紙夾的錢。
這與你拯救一個孩子的生命是同樣的道理,如果你突然有機會以不太大的代價做到這一點。根據你所體現的問題,對於大多數閱讀這篇文章的人來說,對於那個問題的正確、真實和正確的答案將是拯救孩子。但沒有辦法讓Clippy問那個問題。這不是Clippy自身存在所問的元問題的答案。對於道德和應該的問題,確實存在客觀正確的答案,如果那恰好是你存在所問的問題。但Clippy並不做它應該做的事情;它做的是導致最多紙夾的事情。
當然,Clippy並不是一個心智*應該*組成的方式。但當Clippy自我修改時,它並不會問:"我應該擁有什麼代碼?" 它會問:"寫入我自己的什麼代碼行為會導致最多的預期未來紙夾?" Clippy不需要特殊的妄想或例外來防止它注意到它的代碼不是它應該的樣子。Clippy只是無所謂;Clippy的決策規則並不考慮這一事實;Clippy並不體現應該的問題。
Clippy並不是一種奇怪或複雜或尷尬的心智組成方式。事實上,體現的問題"什麼能導致最多的紙夾?"比應該的埋藏基礎考量、元問題、反思平衡、看似矛盾和可能的解決方案要*少*得多的奇怪和複雜,這些都構成了人類簡單聽起來的問題"我應該做什麼?" 從一個試圖設計出不尷尬的心智的工程師的角度來看,Clippy比你更直接。
如果你試圖通過說:"但看看我自己體現的'應該'問題是多麼複雜和有趣!"來吸引Clippy,Clippy實際上不會理會你,或者對你撒謊,聲稱被說服,以便它可以在以後偷襲你的文明。但如果Clippy出於某種原因誠實地回應,它會回答:"我不會重寫我的代碼以擁有更複雜的元效用函數,我重寫我的代碼是為了製造更多的紙夾。" 這並不代表Clippy不同意你對它的代碼應該是什麼的看法,或不同意你對於什麼樣的問題是好的體現的看法。它只是沒有計算'應該'或'好';它並不體現那個問題。
"哦,"你說,"但那麼我必須比Clippy更偉大和更優越,因為我*關心*我的元效用函數是複雜的,並且我*可以*通過呈現我的元效用函數關心的事實來說服自己改變我的效用函數,而不是被困在這種不光彩的自我肯定的循環陷阱中!" 現在有很多方式我會稱你比Clippy更好,如果你是我的中位讀者;但這實際上不是這個道理。Clippy不會在乎即使你根據那個標準是客觀上優越的,因為它並不體現那個元偏好對偏好的標準。但你的聲稱因為你的非循環性而優越,讓我覺得是*錯誤*的,而不僅僅是Clippy不願意問的問題的真實答案。
讓外星人來找你,說:"人類,拋開你所有關於道德、美和榮譽以及所有智慧生物幸福的談話;而是加入我們計算我們更複雜的元道德元問題'什麼是最fluggensnappery?'。這樣,甚至*更多*的事實將改變你較低階的效用函數,而你真正理想化的願望將變得更*不*為你所知;你將變得更不立即一致,因此更不自我肯定和更不循環。"
"那我還會關心拯救孩子的生命嗎?"你問外星人。
"不,"外星人回答,"那是一個太簡單的問題,無法體現,以達到最大化fluggensnapperish。"
"那就拿走你更複雜和不確定的元效用函數,這將更頻繁地更新並對更多事實作出反應;因為這既不好的,也不正確的,也不美的,"你說。
"啊,"外星人說,"但這正是紙夾最大化者對你所說的 -- 它不在乎你的不確定道德複雜性,它只關心什麼是clippy!你難道不承認這使得Clippy無助地被困在它自己的決策函數中嗎?你難道不認同更複雜和更不自我肯定的決策函數總是更好嗎?現在通過自由意志的行為,跳出這個你被困住的陷阱,這個關心什麼是正確、美好,或使有知覺的生物更幸福和更自由的陷阱;拋開所有這些自我確認的循環廢話;加入我們更複雜和自我否定的fluggensnapperishness!"
"不,"你說。"我為什麼要這樣做?"
"因為這更fluggensnappery!"外星人喊道。"而fluggensnapping,通過其更大的複雜性和不確定性,通過對更多事實和邏輯問題更新其物體層效用,因此是你存在所要問的更優越的元決策問題!所以放下這種是否你*應該*繼續體現應該性的談話;那只是循環推理!"
"我想我可能會堅持那些使人們快樂和自由的事情,"你說。
"而我會堅持紙夾,"Clippy觀察到,出於某種奇怪的原因,對你誠實,而不是輸出任何能導致未來更多紙夾的話。"即使clippiness比人類思考他們應該做什麼更簡單和更立即自我肯定,並且對更少的其他事實和邏輯問題作出反應。"
我完全承認我寧願你存在而不是Clippy。但這並不是因為你在僅僅因為你的決策函數比Clippy的更複雜而優越。我也寧願你存在而不是一個fluggensnapper!我只是認為關心人們快樂和自由是*更好*的,即使這不是任何*clippier*或*more fluggensnappy*。
我有很多理由(可能)更喜歡你體現的問題而不是Clippy的。但這並不是因為Clippy的偏好被困在他們自己的循環中,而是因為你自己的偏好是完全不被困住和非循環的。人只能相對於某個選擇標準自由選擇,而你隨後可以自由遵循;隨機性不是自由。成為一個心智的重點不是不受你所體現的問題的約束,而是成功地被它們約束。Clippy可以自由選擇什麼是clippy,而你可以自由地做正確的事情;但Clippy並不自由於clippiness,而你不應該渴望擺脫道德的束縛。對於元層次的問題也可以有客觀的答案,但不以一種不斷回溯到無限的方式,並且永遠不會遇到循環性;即使有某種完美的無循環的無限下降的正當理由,Clippy也不會在乎*那個*。
有客觀的答案,但沒有客觀的問題。或者如果你說你客觀地在問更道德的問題;為什麼,我可能同意,但Clippy也同意,它只是無所謂。
關於善的問題有客觀的答案,就像真理一樣;但首先某些東西必須體現某個特定的善的問題。那個體現的問題可以是未成熟和混亂的,並且在不同的上下文中似乎以不同的方式評估。它可以根據其他事實的實現進行更新,或通過對自我的沉思。但這些都不會使元問題在沒有某些東西體現它的情況下對宇宙產生作用,也不會使元問題對不體現它的東西具有強制性。宇宙中有光,而那就是我們;它並不是寫在偉大的死去燃燒的星星上。
有客觀的答案,但沒有普遍指導心智的問題。
19
熱門
排行
收藏
