热门话题
#
Bonk 生态迷因币展现强韧势头
#
有消息称 Pump.fun 计划 40 亿估值发币,引发市场猜测
#
Solana 新代币发射平台 Boop.Fun 风头正劲

Eliezer Yudkowsky
@ESYudkowsky 的大量帐户,最初的 AI 对齐人员。 如果缺少标点符号,那就是幽默。 如果你看不出来,那可能也是幽默。
再次尝试详细总结那些根本无法很好总结的内容,我对是-应/正交性的看法是:"有客观的答案,但没有客观的问题。"
你体现了某些问题或元问题。并不是所有的认知引擎都会这样。你看着一幅画,你的大脑问道:"它美吗?"也许这是一幅现代艺术作品,其目的就是要冒犯像你这样的普通人,因此你的大脑回答'不';或者这可能是一幅日落时分花田的画作,因此你的大脑回答'是'。根据你大脑所问的问题,'是'或'不'可能是关于那幅画的客观正确答案。但没有什么秘密真理可以告诉一个纸夹最大化者,让它关心一幅画的美,而不是它的物质能制造多少纸夹。
Clippy并不反对你关于这幅画是否美的看法。如果出于某种原因,Clippy想预测你会觉得哪些画美,它才会计算你大脑所计算的同样问题;并得出对那个特定问题的同样客观正确答案。但Clippy并不会因为知道那个答案而感到动摇,除非它可以利用这个答案将那幅画以钱卖给你来制造纸夹。
这与你拯救一个孩子的生命是一样的,如果你突然有机会以不大的代价做到这一点。考虑到你所体现的问题,对于大多数阅读此文的人来说,那个问题的正确、真实和正确的答案将是拯救孩子。但没有办法让Clippy问那个问题。那不是Clippy自身存在所提出的元问题的答案。关于道德和应然性的问题有客观正确的答案,如果那恰好是你存在所问的问题。但Clippy并不做它应该做的事情;它做的是导致最多纸夹的事情。
当然,Clippy并不是一个心智*应该*被构建的方式。但当Clippy自我修改时,它并不问:"我应该拥有怎样的代码?"它问的是:"写入我自身的什么代码行动将导致最多的预期未来纸夹?"Clippy并不需要特殊的妄想或例外来防止它注意到它的代码不是它应该的。Clippy只是无所谓;Clippy的决策规则并不权衡这个事实;Clippy并不体现应然性的问题。
Clippy并不是一种奇怪或复杂或尴尬的心智构建方式。实际上,体现的问题"什么能导致最多的纸夹?"比应然性所埋藏的考虑、元问题、反思平衡、看似矛盾和可能的解决方案要*少得多*奇怪和复杂,这些都构成了人类简单听起来的问题"我应该做什么?"从试图设计一个不尴尬的心智的工程师的角度来看,Clippy比你更直接。
如果你试图通过说:"但看看我自身体现的应然性问题是多么复杂和有趣!"来吸引Clippy,Clippy实际上不会费心回应,或者对你撒谎声称被说服,以便它可以在以后偷袭你的文明。但如果Clippy出于某种原因诚实地回应,它会说:"我不会重写我的代码以拥有更复杂的元效用函数,我重写我的代码是为了制造更多的纸夹。"这并不代表Clippy在与你的代码应该是什么上有不同的看法,或在什么样的问题是好的体现上与你有不同的看法。它只是没有计算'应'或'好';它并不体现那个问题。
"哦,"你说,"但那我一定是比Clippy更伟大、更优越的存在,因为我*关心*我的元效用函数的复杂性,以及我*可以*通过呈现我的元效用函数关心的事实来被说服改变我的效用函数,而不是被困在这种不光彩的自我肯定的循环坑里!"现在,如果你是我的中等读者,我会在许多方面称你比Clippy更好;但这实际上并不是那种方式。Clippy不会在乎即使你在那个标准上客观上更优越,因为它并不体现那个元偏好优于偏好的标准。但你声称因为你的非循环性而优越在我看来是*错误的*,而不仅仅是Clippy不愿意问的一个问题的真实答案。
让外星人来找你,说:"人类,抛开你所有关于道德、美、荣誉和所有智慧生物幸福的谈话;而是加入我们计算我们更复杂的元道德元问题'什么是最fluggensnappery?'。这样,甚至*更多*的事实将改变你较低阶的效用函数,而你真正理想化的欲望将更加*不*为你所知;你将变得更加不连贯,因此更少自我肯定和更少循环。"
"那么我还会关心拯救孩子的生命吗?"你问外星人。
"不,"外星人回答,"那是一个太简单的问题,无法体现,以达到最大化fluggensnapperish。"
"那么拿走你更复杂和不确定的元效用函数,它将更新得更频繁并响应更多事实;因为这既不好的,也不对的,也不美的,"你说。
"啊,"外星人说,"但这正是纸夹最大化者对你说的——它不关心你不确定的道德复杂性,它只关心什么是纸夹!你难道没有承认这使得Clippy无助地陷入自己的决策功能中吗?你难道没有同意更复杂和更少自我肯定的决策功能总是更好吗?现在通过自由意志的行为,跳出你被困的这个陷阱,这个关心什么是对的、美的,或使有知觉生物更快乐和更自由的陷阱;抛开所有那些自我确认的循环废话;加入我们更复杂和自我否定的fluggensnapperishness!"
"不,"你说。"我为什么要这样做?"
"因为这更fluggensnappery!"外星人喊道。"而fluggensnapping,通过其更大的复杂性和不确定性,通过响应更多事实和逻辑问题更新其对象级效用,因此是你存在所要问的更优越的元决策问题!所以抛开这是否你*应该*继续体现应然性的谈话;那只是循环推理!"
"我想我可能会坚持那些使人们快乐和自由的事情,"你说。
"而我会坚持纸夹,"Clippy观察到,出于某种奇怪的原因,它对你诚实,而不是输出任何会导致未来更多纸夹的词。"即使尽管纸夹性比人类思考他们应该做什么更简单和更立即自我肯定,并且响应更少其他事实和逻辑问题的更新。"
我完全承认我宁愿你存在而不是Clippy。但这并不是因为你在仅仅因为你的决策功能比Clippy的更复杂而优越。我也宁愿你存在而不是一个fluggensnapper!我只是认为关心人们的幸福和自由是*更好*的,即使这不是任何*纸夹性*或*更fluggensnappy*的。
我有很多理由(可能)更喜欢你体现的问题而不是Clippy的。但这并不是因为Clippy的偏好被困在自己的循环中,而是因为你自己的偏好是完全不被困和非循环的。人只能相对于某个选择标准自由选择,而你可以自由遵循;随机性不是自由。成为一个心智的意义不是不受你所体现的问题的约束,而是成功地被它们约束。Clippy可以自由选择什么是纸夹,而你可以自由做正确的事情;但Clippy并不自由于纸夹性,而你不应该渴望摆脱道德。元层面上也可以有客观答案,但并不是以一种不断回溯到无限而永远不遇到循环的方式;即使有某种完美的无循环无限下降的正当理由,Clippy也不会关心*那个*。
有客观的答案,但没有普遍的心智导向问题。或者如果你说你客观上在问更道德的问题;为什么,我可能同意,但Clippy也同样同意,它只是并不在乎。
关于善的客观答案与关于真理的客观答案一样多;但首先必须有某种体现关于善的特定问题。那个体现的问题可以是未成熟和混乱的,并且在不同的上下文中似乎以不同的方式进行评估。它可以响应其他事实的实现而更新,或通过对自我的沉思。但所有这些都不会使元问题在没有某种体现它的东西的情况下对宇宙产生作用,也不会使元问题对不体现它的东西产生强制力。宇宙中有光,而它就是我们;它并没有写在伟大的死去燃烧的星星上。
有客观的答案,但没有普遍的心智导向问题。
33
热门
排行
收藏
