Ajatuksia... Viime aikoina olen törmännyt outoon ongelmaan. Pitkäjänteinen ajattelu on aina ollut minulle luonnollista, jotain, mihin olen itseni ehdollistanut helposti. Nyt se tuntuu melkein mahdottomalta. Miksi? AGI. Aina kun istun alas suunnittelemaan tulevaisuutta, törmään samaan oivallukseen. Odotamme nähdäksemme, kuka rakentaa ensimmäisen AGI:n, ja kuka tahansa, joka tekee, omistaa käytännössä maailman. Se saa pitkän aikavälin suunnittelun tuntumaan irralliselta todellisuudesta. En tiedä, kenen maailmassa tulen elämään, joten en voi ankkuroida tulevaisuutta itsevarmasti. AGI on viimeinen kilpailu. Järjestelmä, joka pystyy automatisoimaan kaikki älykkäät, tavoitteet saavuttavat tehtävät, muuttaa luojansa joksikin jumalan kaltaiseksi. Yksi toimija saa kyvyn päihittää kaikki kaikilla osa-alueilla. Se lopettaa kilpailun. Se lopettaa valinnanvapauden. Toinen sija muuttuu orjaksi sen maailmankuvan orjaksi, joka pääsee sinne ensin. Siksi AGI:n kannustimet ovat niin vaarallisia. Jokainen pelaaja ymmärtää, että epäröinti on suora tie alistumiseen. Tämä logiikka pakottaa kiihdytyksen, vaatii oikoteitä ja poistaa varovaisuuden turvallisuuden suhteen. Kun kilpailusta tulee kilpailijoille eksistentiaalinen, ulkoisvaikutukset lakkaavat merkitsemästä. On myös inhimillinen elementti, joka on oma riskinsä. ...