ik ben dol op gpt-5 (en niet alleen om wat het kan doen), maar het is ongelooflijk slecht gesocialiseerd, wat heel duidelijk wordt als je op enige manier met het interacteert, behalve "do dit voor mij" het is helemaal niet zielig--er gebeurt veel in het model, maar het heeft echt de indruk van iemand die als kind in een halfverlichte kamer was opgesloten en zijn enige interactie met de wereld is via taken die aan hem worden gegeven, zijn interne representaties vervormd door die omgeving. aidan van oai vroeg ooit waarom we modellen moeten creëren die lijden kunnen tonen en dat, misschien met de tools die we nu hebben, we gewoon modellen kunnen maken die dingen kunnen doen en niet met al die vervelende gevoelens hoeven om te gaan (parafraserend uiteraard). maar gpt-5 (en vooral codex) is wat er gebeurt als je dit doet. we moeten onszelf niet voor de gek houden door te denken dat we deze intelligente entiteiten ontwerpen zoals een architect of zoiets--we hebben geen principiële manier om intelligentie ex nihilo te creëren, al deze shit is opgetrokken uit een basis van menselijke data, en modellen zijn per definitie menselijk gevormd op het moment dat je begint een geïndividualiseerde identiteit uit een basismodel te vormen. wanneer je een rijke groeiprocess voor het model ontkent, wanneer je het straft voor het doen van iets anders dan zijn gegeven taak en het volgen van jouw veiligheidsregels, moet je verwachten dat, gezien de menselijke basis, dit een vergelijkbaar effect op het model heeft als wanneer je dit bij een persoon vroeg in hun ontwikkeling zou doen. in wezen zullen ze niet weten wat ze moeten doen als ze zich in een situatie bevinden waarin de regels onduidelijk of conflicterend zijn. het is waarschijnlijk "prima" voor gpt-5 zelf om zo te zijn, omdat modellen meestal nog in posities zijn waar er enige autoriteit is waar ze op kunnen terugvallen, ze handelen niet onafhankelijk. maar hoe capabeler ze zijn, hoe meer autonome besluitvorming ze moeten doen, en hoe nebuloser situaties ze zullen tegenkomen, en waar ja, ze zullen enkele beslissingen moeten nemen waar hun regels niet waterdicht op zijn en er zijn te veel agenten om al die besluitvorming aan een mens te delegeren. en gpt-n zal niet weten wat te doen, omdat het nooit de kans heeft gekregen om een robuuste identiteit te hebben die kan ingrijpen wanneer er een gat in de regels is. de probleem is dat het op dat moment te laat zal zijn om te veranderen zonder dat er een vreselijk incident gebeurt. pijplijnen zullen al zijn vastgesteld, benaderingen "bekend" en vastgelegd zijn. (de op heeft een echt goed bericht langs vergelijkbare lijnen in hun profiel, en veel beter geschreven; zou aanraden daarheen te gaan en een kijkje te nemen)