Andrej Karpathy ondersteunt de introductie van een nieuwe term met betrekking tot 'contextengineering' in AI-softwareontwikkeling met behulp van LLM's. En deze term leek al lang zeer noodzakelijk. Elke keer als ik mensen uitleg hoe we onze Nethermind AuditAgent ontwikkelen, is een van de belangrijkste aspecten, naast het gebruik van domeinexpertise (web3-beveiliging) en het gebruik van de best beschikbare AI-modellen (van OpenAI, Anthropic en Google), en tools voor LLM, juist "context engineering". Er is soms een uitdrukking "context is de koning", en het is echt waar. LLM's, of het nu gaat om grote geavanceerde of geoptimaliseerde kleine LLM's, zijn een krachtig hulpmiddel, maar zoals bij elk hulpmiddel, als het in verkeerde handen is, krijg je veel minder veelbelovende resultaten dan als je er correct mee werkt. En contextmanagement (of engineering) is inderdaad een complex en niet erg goed beschreven gebied dat voortdurend evolueert, en het is echt naar voren gekomen als een uitbreiding van het concept van prompt engineering, dat al enkele negatieve connotaties heeft. Over het algemeen somde Andrej de belangrijkste aspecten op die verband houden met contextengineering (op de tweede schermafbeelding), maar in elke specifieke taak bereiken mensen uitstekende resultaten, grotendeels door vallen en opstaan, waarbij ze elke keer monotoon proberen de juiste contextelementen te selecteren die echt nodig zijn in dit stadium van het oplossen van problemen, het verzamelen van benchmarks voor elke fase, het bekijken van statistieken, het verdelen van datasets in tests, validatie, enzovoort, enzovoort. Wat vind je van "context engineering"?