Andrej Karpathy podporuje zavedení nového pojmu souvisejícího s "context engineeringem" při vývoji AI Software s využitím LLM. A tento termín se dlouho zdál velmi potřebný. Pokaždé, když lidem vysvětluji, jak vyvíjíme našeho Nethermind AuditAgent, jedním z klíčových aspektů, kromě využití odborných znalostí domény (zabezpečení web3) a využití nejlepších dostupných modelů AI (od OpenAI, Anthropic a Google) a nástrojů pro LLM, je právě "kontextové inženýrství". Někdy se ozývá výraz "kontext je král" a opravdu je to pravda. LLM, ať už velké pokročilé nebo optimalizované malé LLM, jsou mocným nástrojem, ale jako každý nástroj, pokud je ve špatných rukou, získáte mnohem méně slibné výsledky, než byste mohli, kdybyste s nimi pracovali správně. A kontextový management (neboli engineering) je skutečně složitá a nepříliš dobře popsaná oblast, která se neustále vyvíjí a skutečně vznikla jako rozšíření konceptu prompt engineeringu, který už má nějaké negativní konotace. Celkově Andrej vyjmenoval hlavní aspekty související s kontextovým inženýrstvím (na druhém snímku obrazovky), ale v každém konkrétním úkolu lidé dosahují vynikajících výsledků převážně metodou pokusu a omylu, pokaždé se monotónně snaží vybrat správné kontextové prvky, které jsou v této fázi řešení problému skutečně potřeba, sbírají benchmarky pro každou fázi, dívají se na metriky, rozdělují datové sady na testy, validace a tak dále, a tak dále. Co si myslíte o "kontextovém inženýrství"?