Gedachten... De laatste tijd loop ik tegen een vreemde moeilijkheid aan. Langetermijndenken is altijd natuurlijk voor mij geweest, iets wat ik mezelf met gemak heb aangeleerd. Nu voelt het bijna onmogelijk. Waarom? AGI. Elke keer als ik ga zitten om voor de toekomst te plannen, kom ik tot dezelfde realisatie. We wachten af wie de eerste AGI bouwt, en wie dat doet, zal effectief de wereld bezitten. Dat maakt langetermijnplanning losgekoppeld van de realiteit. Ik weet niet in wiens wereld ik zal leven, dus ik kan geen enkele toekomst met vertrouwen verankeren. AGI is de laatste race. Een systeem dat alle intelligente, doelgerichte taken kan automatiseren, maakt zijn schepper tot iets dat dicht bij een god komt. Één entiteit krijgt de mogelijkheid om iedereen in elk domein te overtreffen. Dat beëindigt de concurrentie. Dat beëindigt de opties. De tweede plaats wordt een slaaf van de wereldvisie van degene die als eerste aankomt. Dit is waarom de prikkels rond AGI zo gevaarlijk zijn. Elke speler begrijpt dat aarzeling een directe weg naar ondergeschiktheid is. Die logica dwingt tot versnelling, dringt aan op shortcuts en wist voorzichtigheid rond veiligheid uit. Zodra de race existentiëel wordt voor de concurrenten, stoppen externe factoren met ertoe doen. Er is ook het menselijke element, wat een eigen risico met zich meebrengt. ...