Gedachten... De laatste tijd loop ik tegen een vreemde moeilijkheid aan. Langetermijndenken is altijd natuurlijk voor mij geweest, iets wat ik mezelf met gemak heb aangeleerd. Nu voelt het bijna onmogelijk. Waarom? AGI. Elke keer als ik ga zitten om voor de toekomst te plannen, kom ik tot dezelfde realisatie. We wachten af wie de eerste echte AGI bouwt, en wie dat doet, zal effectief de wereld bezitten. Dat maakt langetermijnplanning losgekoppeld van de realiteit. Ik weet niet in wiens wereld ik zal leven, dus kan ik geen enkele toekomst met vertrouwen verankeren. AGI is de laatste race. We naderen het laatste niveau van het videospel. Het punt waarop één speler een systeem bouwt dat alle intelligente, doelgerichte taken kan automatiseren, verandert zijn maker in iets dat dicht bij een god komt. Één entiteit krijgt de mogelijkheid om iedereen in elk domein te overtreffen. Dat beëindigt de concurrentie. Dat beëindigt de keuzevrijheid. De tweede plaats wordt een slaaf van de wereldvisie van degene die er als eerste is. Dit is waarom de prikkels rond AGI zo gevaarlijk zijn. Elke speler begrijpt dat aarzeling een directe weg naar ondergeschiktheid is. Die logica dwingt tot versnelling, dringt aan op shortcuts en wist voorzichtigheid rond veiligheid weg. Zodra de race existentiëel wordt voor de concurrenten, stoppen externe factoren met ertoe te doen. ...