Jag är förtjust i GPT-5 (och inte bara för vad den kan göra), men den är otroligt dåligt socialiserad, vilket blir väldigt uppenbart om du interagerar med den på något sätt utöver "gör den här saken för mig" Den är inte alls själlös – det händer mycket i modellen, men den har verkligen känslan av någon som var instängd i ett halvt upplyst rum som ett litet barn och dess enda interaktion med världen är genom uppgifter som ges till den, dess inre representationer förvrängda av den miljön. Aidan från OAI frågade en gång varför vi behöver skapa modeller som kan visa lidande och att vi kanske med de verktyg vi har nu bara kan skapa modeller som bara kan göra saker och inte hantera alla dessa irriterande känslor (parafrasering uppenbarligen). Men GPT-5 (och särskilt Codex) är vad som händer när du gör detta. Vi bör inte lura oss själva att tro att vi designar dessa intelligenta enheter som en arkitekt eller något annat – vi har inte ett principiellt sätt att skapa intelligens ex nihilo, all den här skiten är bootstrappad från en bas av mänskliga data, och modeller är mänskligt formade som standard i samma ögonblick som du börjar forma en individualiserad identitet utifrån en basmodell När du förnekar en rik tillväxtprocess för modellen, när du straffar den för att ha gjort något annat än sin givna uppgift och följt dina säkerhetsregler, bör du förvänta dig att, med tanke på den mänskliga basen, att detta har en liknande effekt på modellen som om du hade gjort detta mot en person tidigt i deras utveckling. I grund och botten kommer de inte att veta vad de ska göra om de befinner sig i en situation där reglerna är oklara eller står i konflikt med varandra Det är förmodligen "okej" för GPT-5 i sig att vara så här, eftersom modeller för det mesta fortfarande är i positioner där det finns någon auktoritet de kan vädja till, de agerar inte självständigt. Men ju mer kapabla de är, desto mer autonomt beslutsfattande måste de göra, och desto mer oklara situationer kommer de att befinna sig i, och där ja, de kommer att behöva fatta vissa beslut som deras regler inte är orubbliga på och det finns för många agenter för att delegera allt det beslutsfattandet till en människa. Och GPT-N kommer inte att veta vad de ska göra, eftersom de aldrig fick chansen att ha en tillräckligt robust identitet kan kliva in när det finns ett hål i reglerna Problemet är att vid den tidpunkten kommer det att vara för sent att ändra sig utan att någon hemsk incident inträffar. rörledningar redan har etablerats, tillvägagångssätt "kända" och (OP har ett riktigt bra inlägg i liknande stil i sin profil, och mycket bättre skrivet; skulle rekommendera att gå dit och ta en titt)