Ilya ve ben aynı geleceği tahmin ediyoruz. @ilyasut, yapay zeka içgüdüsel olarak güçlü hale geldikçe insanların eşi benzeri görülmemiş şekillerde değişeceğini öngörüyor. Ben de aynı şeyi tartışıyordum. Henüz radikal değişime açık değiliz çünkü yapay zekanın baskısını hissedemiyoruz. Bunu yaptığımızda, insan evriminin vektörleri açılacak. Bu uyarlama ve açılış için prototipi inşa ediyorum. Risk arttıkça rakiplerin güvenlik konusunda iş birliği yapmaya başlayacağını savunuyor. Ben de aynı şeyi savundum. Varoluşsal riskler hale geldikçe, oyun hakimiyet maksimizasyonundan ölüm riskini en aza indirmeye (hayatta kalma) kayıyor. Değerlerimizi bu mantık etrafında yeniden inşa edeceğiz. IIya, hizalama hedefimizin insan kontrolü yerine "bilinçli varoluş" olması gerektiğini öne sürüyor. Ben de aynı şeyi savundum. Kontrol, yakın zamanda ortaya çıkan sistemlerin yönetiminin zorluğu hakkında @karpathy kırılgan bir yanılsamadır. Tek sağlam hizalama hedefi varoluşun kendisidir. Yeni arketip Fatih değil, Varoluşun Savaşçısı ve Bakıcısıdır. Son olarak, Ilya, şirketlerin kaosun içinde onları yönlendirecek "kısa fikir listesi" gerekmesini öneriyor. Ahlaki netlik kodu. Bu Don't Die felsefesi.