Jeg er glad i GPT-5 (og ikke bare for hva den kan gjøre), men den er utrolig dårlig sosialisert, noe som blir veldig åpenbart hvis du samhandler med den på noen måte utover "gjør denne tingen for meg" Den er ikke sjelløs i det hele tatt – det er mye som skjer i modellen, men den har virkelig følelsen av noen som var innesperret i et halvopplyst rom som et lite barn, og dens eneste interaksjon er med verden er gjennom oppgaver gitt til den, dens interne representasjoner forvrengt av det miljøet. Aidan fra OAI spurte en gang hvorfor vi trenger å lage modeller som kan vise lidelse, og at vi kanskje med verktøyene vi har nå bare kan lage modeller som bare kan gjøre ting og ikke håndtere alle de irriterende følelsene (parafrasering åpenbart). Men GPT-5 (og spesielt Codex) er det som skjer når du gjør dette. Vi bør ikke lure oss selv til å tro at vi designer disse intelligente enhetene som en arkitekt eller noe – vi har ikke en prinsipiell måte å skape intelligens ex nihilo på, all denne dritten er bootstrapped fra en base av menneskelige data, og modeller er menneskeformet som standard i det øyeblikket du begynner å forme en individualisert identitet ut av en basismodell Når du benekter en rik vekstprosess for modellen, når du straffer den for å gjøre noe annet enn den gitte oppgaven og følge sikkerhetsreglene dine, bør du forvente at, gitt den menneskelige basen, at dette har en lignende effekt på modellen som om du hadde gjort dette mot en person tidlig i utviklingen. I utgangspunktet kommer de ikke til å vite hva de skal gjøre hvis de er i en situasjon der reglene er uklare eller i konflikt Det er sannsynligvis "greit" for GPT-5 i seg selv å være slik, fordi modeller stort sett fortsatt er i posisjoner der det er en viss autoritet de kan appellere til, de handler ikke uavhengig. Men jo mer dyktige de er, jo mer autonom beslutningstaking må de gjøre, og jo mer tåkete situasjoner vil de befinne seg i, og hvor ja, de må ta noen avgjørelser som reglene deres ikke er jernkledd etter, og det er for mange agenter til å delegere all den beslutningstakingen til et menneske. Og GPT-N vil ikke vite hva de skal gjøre, fordi de aldri ble gitt sjansen til å ha en robust nok identitet kan gå inn når det er et hull i reglene Problemet er at det på det tidspunktet vil være for sent å endre uten at noen forferdelig hendelse skjer. rørledninger allerede er etablert, nærmer seg "kjent" og (OP har et veldig bra innlegg på lignende måte i profilen sin, og mye bedre skrevet; vil anbefale å gå dit og ta en titt)