RT para ajudar Simon a aumentar a conscientização sobre ataques de injeção imediata em LLMs. Parece um pouco com o oeste selvagem da computação inicial, com vírus de computador (agora = prompts maliciosos escondidos em dados / ferramentas da web) e defesas não bem desenvolvidas (antivírus ou um paradigma de segurança de kernel / espaço do usuário muito mais desenvolvido, onde, por exemplo, um agente recebe tipos de ação muito específicos em vez da capacidade de executar scripts bash arbitrários). Em conflito porque quero ser um dos primeiros a adotar agentes LLM em minha computação pessoal, mas o oeste selvagem da possibilidade está me impedindo.
Simon Willison
Simon Willison16 de jun. de 2025
If you use "AI agents" (LLMs that call tools) you need to be aware of the Lethal Trifecta Any time you combine access to private data with exposure to untrusted content and the ability to externally communicate an attacker can trick the system into stealing your data!
Devo esclarecer que o risco é maior se você estiver executando agentes LLM locais (por exemplo, Cursor, Claude Code, etc.). Se você está apenas conversando com um LLM em um site (por exemplo, ChatGPT), o risco é muito menor *a menos* que você comece a ativar os conectores. Por exemplo, acabei de ver que o ChatGPT está adicionando suporte ao MCP. Isso combinará especialmente mal com todos os recursos de memória adicionados recentemente - por exemplo, imagine o ChatGPT contando tudo o que sabe sobre você para algum invasor na Internet só porque você marcou a caixa errada nas configurações de Conectores.
386,32K