Andrej Karpathy apoya la introducción de un nuevo término relacionado con la "ingeniería de contexto" en el desarrollo de software de IA utilizando LLM. Y este término ha parecido muy necesario durante mucho tiempo. Cada vez que explico a la gente cómo desarrollamos nuestro Nethermind AuditAgent, uno de los aspectos clave, además de utilizar la experiencia en el dominio (seguridad web3) y utilizar los mejores modelos de IA disponibles (de OpenAI, Anthropic y Google), y herramientas para LLM, es precisamente la "ingeniería de contexto". A veces hay una expresión "el contexto es el rey", y realmente es cierto. Los LLM, ya sean grandes avanzados o pequeños LLM optimizados, son una herramienta poderosa, pero como cualquier herramienta, si está en las manos equivocadas, obtendrá resultados mucho menos prometedores de los que podría obtener si trabaja con ellos correctamente. Y la gestión del contexto (o ingeniería) es de hecho un área compleja y poco bien descrita que está en constante evolución, y realmente surgió como una extensión del concepto de ingeniería rápida, que ya tiene algunas connotaciones negativas. En general, Andrej enumeró los principales aspectos relacionados con la ingeniería de contexto (en la segunda captura de pantalla), pero en cada tarea específica, las personas logran excelentes resultados en gran medida a través de prueba y error, cada vez tratando monótonamente de seleccionar los elementos de contexto correctos que realmente se necesitan en esta etapa de resolución de problemas, recopilando puntos de referencia para cada etapa, mirando métricas, dividiendo conjuntos de datos en pruebas, validación, y así sucesivamente. ¿Qué opinas de la "ingeniería de contexto"?