Tanker... I det siste har jeg støtt på en merkelig vanskelighetsgrad. Langsiktig tenkning har alltid vært naturlig for meg, noe jeg har lært meg å gjøre med letthet. Nå føles det nesten umulig. Hvorfor? AGI. Hver gang jeg setter meg ned for å planlegge for fremtiden, får jeg den samme erkjennelsen. Vi venter på å se hvem som bygger den første ekte AGI-en, og den som gjør det, vil i praksis eie verden. Det gjør at langsiktig planlegging føles frakoblet virkeligheten. Jeg vet ikke hvilken verden jeg kommer til å leve i, så jeg kan ikke forankre noen fremtid med selvtillit. AGI er det siste løpet. Vi nærmer oss det siste nivået i videospillet. Punktet hvor én spiller bygger et system som kan automatisere alle intelligente, måloppnående oppgaver, gjør skaperen til noe som ligner en gud. En aktør får evnen til å konkurrere ut alle på tvers av alle domener. Det avslutter konkurransen. Det avslutter valgfriheten. Andreplassen blir en slave av verdensbildet til den som kommer dit først. Dette er grunnen til at insentivene rundt AGI er så farlige. Hver spiller forstår at nøling er en direkte vei til underordning. Den logikken tvinger frem akselerasjon, presser på for snarveier og fjerner forsiktighet rundt sikkerhet. Når løpet blir eksistensielt for deltakerne, slutter eksternalitetene å spille noen rolle. ...