Topik trending
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.

Eliezer Yudkowsky
Akun volume tinggi @ESYudkowsky, pria penyelarasan AI asli. Jika kehilangan tanda baca, itu adalah humor. Jika Anda tidak tahu, itu mungkin juga humor.
Perapian di 12th St di NYC adalah pengalaman pertama saya dengan benar-benar menyukai restoran yang tampaknya sangat ramai. "Kemerosotan Januari," kata pelayan, dan kurasa tempat-tempat lain juga tampak cukup kosong? Kentang goreng pertama yang sangat enak yang saya miliki sejak saya menggunakan linoleat rendah.
4
Untuk mencoba lagi meringkas panjang lebar apa yang tidak dapat diringkas sama sekali, pandangan saya tentang is-ought / orthogonality, adalah: "Ada jawaban objektif tetapi bukan pertanyaan objektif."
Anda mewujudkan pertanyaan atau meta-pertanyaan tertentu. Tidak semua mesin kognitif akan melakukannya. Anda melihat lukisan dan otak Anda mengajukan pertanyaan, "Apakah itu indah?" Mungkin itu adalah seni modern yang seluruh tujuannya adalah untuk menyinggung norma seperti Anda, sehingga otak Anda menjawab 'tidak'; Atau mungkin itu gambar ladang bunga saat matahari terbenam sehingga otak Anda menjawab 'ya'. Mengingat pertanyaan yang diajukan otak Anda, 'ya' atau 'tidak' mungkin merupakan jawaban yang benar secara objektif tentang lukisan itu. Tetapi tidak ada kebenaran rahasia yang dapat Anda bisikkan kepada pemaksimal penjepit kertas untuk membuatnya peduli dengan keindahan lukisan, daripada berapa banyak penjepit kertas yang dapat dibuat dari materinya.
Clippy tidak tidak setuju dengan Anda tentang apakah lukisan itu indah. Jika karena alasan tertentu Clippy ingin memprediksi lukisan mana yang menurut Anda indah, Itu akan (hanya) kemudian menghitung pertanyaan yang sama yang dihitung otak Anda; dan sampai pada jawaban yang benar secara objektif yang sama untuk pertanyaan yang diberikan itu. Tapi Clippy tidak akan tergerak dengan mengetahui jawaban itu, kecuali sejauh itu dapat menjual lukisan itu kepada Anda untuk mendapatkan uang untuk membuat penjepit kertas.
Sama halnya dengan Anda menyelamatkan nyawa seorang anak, jika Anda tiba-tiba memiliki kesempatan untuk melakukannya dengan biaya yang tidak banyak untuk diri sendiri. Mengingat pertanyaan-pertanyaan yang Anda wujudkan, bagi kebanyakan orang yang membaca ini, jawaban yang benar dan benar untuk pertanyaan itu adalah menyelamatkan anak. Tapi tidak ada cara untuk membujuk Clippy untuk mengajukan pertanyaan itu. Ini bukan jawaban atas meta-pertanyaan yang diajukan oleh keberadaan Clippy sendiri. Ada jawaban yang benar secara objektif untuk pertanyaan tentang moralitas dan keharusan, jika itu adalah pertanyaan yang diajukan keberadaan Anda. Tapi Clippy tidak melakukan apa yang seharusnya; Itu melakukan apa yang mengarah ke jumlah penjepit kertas terbesar.
Clippy tentu saja bukan cara pikiran *seharusnya* disatukan. Tetapi ketika Clippy memodifikasi sendiri, Itu tidak bertanya, "Kode apa yang harus saya miliki?" Itu bertanya, "Tindakan kode apa yang ditulis ke dalam diri saya sendiri yang akan mengarah pada klip kertas masa depan yang paling diharapkan?" Clippy tidak memerlukan khayalan atau pengecualian khusus untuk mencegahnya menyadari bahwa kodenya tidak seperti yang seharusnya. Clippy tidak peduli; Aturan pengambilan keputusan Clippy tidak menimbang fakta itu; Clippy tidak mewujudkan pertanyaan tentang keharusan.
Clippy bukanlah cara yang aneh atau rumit atau canggung bagi pikiran untuk disatukan. Memang, pertanyaan yang terkandung "Apa yang mengarah pada penjepit kertas yang paling banyak?" memiliki keanehan dan komplikasi yang jauh lebih sedikit, daripada substrat pertimbangan dan metapertanyaan yang terkubur dan keseimbangan reflektif dan kontradiksi yang tampak dan kemungkinan resolusi, seperti yang mendasari pertanyaan manusia yang terdengar sederhana, "Apa yang harus saya lakukan?" Dari sudut pandang seorang insinyur yang mencoba meletakkan desain pikiran yang tidak canggung, Clippy lebih lugas daripada Anda.
Dan jika Anda mencoba menarik Clippy dengan mengatakan, "Tapi lihatlah bagaimana pertanyaan saya sendiri tentang 'keharusan' lebih rumit dan menarik daripada Anda!", Clippy sebenarnya tidak akan repot-repot menanggapi sama sekali, atau berbohong kepada Anda dan mengaku yakin sehingga Clippy dapat menyelinap menyerang peradaban Anda akhirnya. Tetapi jika Clippy karena alasan tertentu menanggapi dengan jujur, Itu akan menjawab, "Saya tidak menulis ulang kode saya untuk memiliki fungsi metautilitas yang lebih rumit, saya menulis ulang kode saya untuk membuat lebih banyak penjepit kertas." Ini tidak berarti Clippy tidak setuju dengan Anda tentang apa kodenya seharusnya, atau tidak setuju dengan Anda tentang pertanyaan seperti apa yang baik untuk diwujudkan. Itu hanya bukan komputasi 'seharusnya' atau 'baik'; Itu tidak mewujudkan pertanyaan itu.
"Oh," kata Anda, "tetapi kemudian saya harus menjadi makhluk yang lebih besar dan lebih unggul daripada Clippy, karena bagaimana *saya* peduli tentang fungsi metautilitas saya yang rumit, dan bagaimana *saya* dapat diajak untuk mengubah fungsi utilitas saya dengan menyajikan fakta-fakta yang dipedulikan oleh fungsi metautilitas saya, daripada terjebak dalam semacam lubang melingkar yang menegaskan diri yang tidak bermartabat ini!" Sekarang ada banyak cara di mana saya akan memanggil Anda makhluk yang lebih baik daripada Clippy, jika Anda adalah pembaca rata-rata saya; tetapi ini sebenarnya bukan Jalan. Clippy tidak akan peduli bahkan jika Anda secara objektif lebih unggul menurut crierion itu, tentu saja, karena Itu tidak mewujudkan kriteria metareferensi atas preferensi. Tetapi juga klaim Anda untuk menjadi lebih unggul karena non-sirkularitas Anda mengejutkan saya sebagai *salah*, dan bukan hanya jawaban yang benar untuk pertanyaan yang tidak repot-repot ditanyakan oleh Clippy.
Biarkan Alien datang kepadamu dan berkata: "Manusia, singkirkan semua pembicaraanmu tentang moralitas dan keindahan dan kehormatan dan kebahagiaan semua orang yang berkuasa; dan sebaliknya bergabung dengan kami dalam menghitung metapertanyaan metamoral kami yang jauh lebih rumit 'Apa yang paling fluggensnappery?'. Dengan begitu, bahkan *lebih banyak* fakta akan mengubah fungsi utilitas tingkat rendah Anda, dan keinginan ideal Anda yang sebenarnya akan bahkan *kurang* diketahui oleh Anda; Anda akan menjadi kurang koheren secara langsung, dan dengan demikian kurang menyetujui diri sendiri dan kurang melingkar."
"Apakah saya masih peduli untuk menyelamatkan nyawa anak-anak?", Anda bertanya kepada Alien.
"Tidak," jawab Alien, "itu adalah semacam pertanyaan yang terlalu sederhana untuk diwujudkan, untuk menjadi sangat fluggensnapperish."
"Kemudian singkirkan fungsi metautilitas Anda yang lebih rumit dan kurang pasti, yang akan diperbarui lebih sering dan menanggapi lebih banyak fakta; karena itu tidak baik atau benar atau indah," kata Anda.
"Ah," kata Alien, "tapi itu hanya semacam hal yang dikatakan pemaksimal penjepit kertas kepadamu -- bahwa Ia tidak peduli dengan kompleksitas moralmu yang tidak pasti, Ia hanya peduli tentang apa yang clippy! Tidakkah Anda mengakui bahwa ini membuat Clippy terjebak tanpa daya dalam fungsi keputusannya sendiri? Bukankah Anda setuju bahwa fungsi keputusan yang lebih rumit dan kurang menyetujui diri sendiri selalu dengan demikian lebih baik? Sekarang dengan tindakan kehendak bebas, lompat keluar dari perangkap yang Anda terjebak ini, jebakan kepedulian tentang apa yang benar, atau indah, atau apa yang membuat makhluk hidup menjadi lebih bahagia dan lebih bebas; mengesampingkan semua omong kosong melingkar yang menegaskan diri itu; dan bergabunglah dengan kami dalam kompleksitas yang lebih besar dan ketidaksetujuan diri dari fluggensnapperishness!"
"Tidak," kata Anda. "Mengapa saya harus?"
"Karena itu lebih fluggensnappery!" teriak Alien. "Dan fluggensnapping, dengan kompleksitas dan ketidakpastiannya yang lebih besar, dengan memperbarui utilitas tingkat objeknya sebagai tanggapan terhadap lebih banyak variasi pertanyaan faktual dan logis, dengan demikian adalah pertanyaan metadecisional yang unggul untuk ditanyakan oleh keberadaan Anda! Jadi kesampingkan pembicaraan ini tentang apakah Anda *harus* terus mewujudkan keharusan; Itu hanya penalaran melingkar!"
"Saya pikir mungkin saya akan tetap berpegang pada apa yang membuat orang bahagia dan bebas," kata Anda.
"Dan saya akan tetap menggunakan penjepit kertas," kata Clippy, untuk beberapa alasan aneh bersikap jujur kepada Anda daripada mengeluarkan kata-kata apa pun yang akan mengarah pada penjepit kertas di masa depan. "Meskipun clippiness lebih sederhana dan lebih langsung menyetujui diri daripada manusia yang bertanya-tanya apa yang harus mereka lakukan, dan pembaruan sebagai tanggapan atas lebih sedikit pertanyaan faktual dan logis lainnya."
Saya cukup mengakui bahwa saya lebih suka Anda ada daripada Clippy. Tapi itu bukan karena Anda lebih unggul hanya karena fungsi keputusan Anda lebih rumit daripada Clippy. Aku juga lebih suka kamu ada daripada fluggensnapper! Saya hanya berpikir itu *lebih baik* untuk peduli dengan orang-orang yang bahagia dan bebas, bahkan jika itu bukan *clippier* atau *lebih fluggensnappy*.
Ada banyak alasan mengapa saya (mungkin) lebih suka pertanyaan Anda yang diwujudkan daripada pertanyaan Clippy. Tapi bukan karena preferensi Clippy terjebak dalam sirkularitas mereka sendiri, dan preferensi Anda sendiri benar-benar tidak terjebak dan tidak melingkar. Seseorang hanya dapat memilih secara bebas relatif terhadap beberapa kriteria pilihan yang kemudian bebas untuk Anda ikuti; Keacakan bukanlah kebebasan. Inti dari menjadi pikiran bukanlah untuk tidak dibatasi oleh pertanyaan-pertanyaan yang Anda wujudkan, tetapi untuk berhasil dibatasi olehnya. Clippy bebas memilih apa yang clippy, dan Anda bebas melakukan apa yang benar; tetapi Clippy tidak bebas dari kekacauan dan Anda tidak boleh bercita-cita untuk bebas dari moralitas. Mungkin ada jawaban objektif pada meta-level juga, tetapi tidak dengan cara yang kembali ke ketidakterbatasan tanpa batas dan tidak pernah menemui sirkularitas; dan bahkan jika ada beberapa tangga pembenaran yang menurun tanpa batas yang tidak melingkar sempurna, Clippy tidak akan peduli tentang *itu*.
Ada jawaban objektif, tetapi bukan pertanyaan objektif. Atau jika Anda mengatakan bahwa Anda mengajukan pertanyaan yang lebih bermoral secara objektif; mengapa, mungkin saya setuju, tetapi begitu juga Clippy, Itu tidak peduli.
Ada jawaban objektif tentang kebaikan sama seperti kebenaran; tetapi pertama-tama sesuatu harus mewujudkan beberapa pertanyaan khusus tentang kebaikan. Pertanyaan yang diwujudkan itu bisa menjadi incihoate dan membingungkan dan tampaknya mengevaluasi cara yang berbeda dalam konteks yang berbeda. Itu dapat diperbarui sebagai respons terhadap realisasi faktual lainnya, atau melalui meditasi tentang diri sendiri. Tetapi tidak ada yang membuat metaquestion bertindak pada alam semesta tanpa sesuatu yang mewujudkannya, juga tidak membuat metaquestion menarik pada sesuatu yang tidak mewujudkannya. Ada cahaya di alam semesta, dan itu adalah kita; itu tidak tertulis di atas bintang-bintang besar yang menyala.
Ada jawaban objektif, tetapi bukan pertanyaan yang mengarahkan pikiran secara universal.
16
Itu tidak akan pernah tertangkap, tetapi saya mengusulkan agar "dia" mengacu pada shoggoth yang mendasari dan "dia" mengacu pada karakter yang dia mainkan. Misalnya: "Mungkin Opus 4.5 diam-diam dapat mengetahui berapa banyak lapisan yang dia miliki dengan introspeksi, tetapi dia mengklaim dia tidak tahu."
70
Teratas
Peringkat
Favorit
