+1 pour « Ingénierie contextuelle » par rapport à « Ingénierie rapide ». Les gens associent les invites à de courtes descriptions de tâches que vous donneriez à un LLM dans votre utilisation quotidienne. Dans toutes les applications LLM industrielles, l’ingénierie contextuelle est l’art délicat et la science de remplir la fenêtre contextuelle avec les bonnes informations pour l’étape suivante. La science, parce que bien faire cela implique des descriptions et des explications de tâches, quelques exemples de plans, des RAG, des données connexes (éventuellement multimodales), des outils, l’état et l’histoire, le compactage... Trop peu ou de mauvaise forme, le LLM n’a pas le bon contexte pour des performances optimales. Trop ou trop peu pertinent et les coûts de LLM peuvent augmenter et les performances peuvent baisser. Bien faire cela n’est pas anodin. Et l’art en raison de l’intuition directrice autour de la psychologie LLM des esprits des gens. En plus de l’ingénierie contextuelle elle-même, une application LLM doit : - Diviser les problèmes en flux de contrôle - Emballez les fenêtres contextuelles comme il faut - répartir les appels vers les LLM du bon type et de la bonne capacité - gérer les flux UIUX de vérification de génération - beaucoup plus - garde-fous, sécurité, evals, parallélisme, préchargement, ... L’ingénierie contextuelle n’est donc qu’un petit élément d’une épaisse couche émergente de logiciels non triviaux qui coordonne les appels LLM individuels (et bien plus encore) dans des applications LLM complètes. Le terme « ChatGPT wrapper » est fatigué et vraiment, vraiment faux.