+1 do "inżynierii kontekstowej" w porównaniu z "inżynierią podpowiedzi". Ludzie kojarzą podpowiedzi z krótkimi opisami zadań, które dałbyś LLM w codziennym użytkowaniu. W każdej przemysłowej aplikacji LLM inżynieria kontekstowa to delikatna sztuka i nauka polegająca na wypełnianiu okna kontekstowego odpowiednimi informacjami do następnego kroku. Nauka, ponieważ robienie tego dobrze obejmuje opisy i wyjaśnienia zadań, kilka przykładów ujęć, RAG, powiązane (być może multimodalne) dane, narzędzia, stan i historię, kompaktowanie... Za mało lub w niewłaściwej formie, a LLM nie ma odpowiedniego kontekstu dla optymalnej wydajności. Za dużo lub zbyt nieistotne, a koszty LLM mogą wzrosnąć, a wydajność może spaść. Robienie tego dobrze nie jest trywialne. I sztuka ze względu na przewodnią intuicję wokół psychologii LLM ludzi, duchów. Oprócz samej inżynierii kontekstowej, aplikacja LLM musi: - Rozbijanie problemów bezpośrednio na przepływy sterowania - Spakuj okna kontekstowe w odpowiedni sposób - wysyłanie połączeń do LLM odpowiedniego rodzaju i możliwości - obsługa przepływów UIUX z weryfikacją generacji - Dużo więcej - barierki, zabezpieczenia, evals, równoległość, prefetching, ... Tak więc inżynieria kontekstowa jest tylko jednym małym fragmentem wyłaniającej się grubej warstwy nietrywialnego oprogramowania, które koordynuje poszczególne wywołania LLM (i wiele więcej) w pełne aplikacje LLM. Termin "opakowanie ChatGPT" jest zmęczony i naprawdę, naprawdę błędny.