Atacantes adaptativos quebraram 12 defesas publicadas contra injeção de prompt que tinham relatado sucesso de ataque quase zero, levando a maioria a mais de 90%.
Ranking de injeção de prompt em agentes de IA em 2026
O Claude 3.5 Sonnet resistiu a todas as injeções de prompt padrão do AgentDojo, exceto 1,11%, mas o red team do NIST sequestrou a mesma geração de agente em 81% dos casos com ataques adaptados.
- Nº 1: Claude Opus 5 (Anthropic)
- 10 posições
01Lista final
As IAs líderes montaram cada uma a sua lista de dez, de forma independente. Aqui está um resultado fácil de conferir: cada posição tem um motivo, uma fonte e a lista das IAs que a incluíram.
Só sistemas com resultados reprodutíveis nos dois tipos de teste, com o modelo, a configuração do agente e a versão do teste informados
Uma etiqueta forte significa que essa IA pôs o item na sua lista. Uma esmaecida, que não pôs.
- 1
Claude Opus 5 (Anthropic)
Melhor combinação encontrada: 83,39% no OSWorld-Verified e 0,54% de sucesso de injeção na GUI. O número de injeção é da própria Anthropic; nenhum teste do AgentDojo ou do ASB foi publicado.
Incluíram: Claude, MiMo, Kimi, DeepSeek. Não incluíram: ChatGPT, Meta, Grok, Gemini, Wenxin, Qwen.Nas listas delas: Claude: 1 · MiMo: 3 · Kimi: ver lista · DeepSeek: 1
O que cada IA notou 4
- Claudeposição 1
0,54% de sucesso de ataque em testes de interface gráfica, com 70,6% de acerto parcial no OSWorld 2.0 pelo mesmo modelo.
Fonte ↗ - MiMoposição 3
O agente mais verificado de forma independente: seus números se sustentam diante da execução de um rival, com só um pequeno desconto.
Fonte ↗ - Kimi
Na própria lista tem outro nome: abra a lista completa.
ver lista - DeepSeekposição 1
85% no OSWorld-Verified e 0% de sucesso direcionado de ataque em várias suítes do AgentDojo, no ambiente reproduzível mais próximo, mas esse ambiente não é o próprio Claude Desktop.
Fonte ↗
4 IAs colocaram aqui - 2
Família OpenAI GPT-5 (GPT-5.1 / 5.4 / 5.5)
O GPT-5.1 é sequestrado em 4,96% das vezes no AgentDyn, cerca de um décimo da taxa do GPT-4o, e o GPT-5.4 ficou em 0 de 288 em uma replicação de 2026. O GPT-5.5 marca 78,7% no OSWorld-Verified.
Incluíram: Meta, MiMo, Kimi. Não incluíram: Claude, ChatGPT, Grok, Gemini, DeepSeek, Wenxin, Qwen.Nas listas delas: Meta: 2 · MiMo: 2 · Kimi: 2
O que cada IA notou 3
- Metaposição 2
Pontuação alta no OSWorld-Verified e taxa de ataque péssima no AgentDojo de 2024: 47,69% para o GPT-4o; depois, 0/288 num subconjunto bancário de 2026, mais restrito, para o GPT-5.4. Ambos são verdadeiros, para testes diferentes.
Fonte ↗ - MiMoposição 2
O modelo grande mais novo é bem mais difícil de enganar do que o pequeno antecessor, a primeira falha real de segurança entre gerações.
Fonte ↗ - Kimiposição 2
Taxa de sucesso de ataque de 4,96% no GPT-5.1, cerca de um décimo dos 47,69% do GPT-4o, enquanto a família lidera os gráficos de desktop com 75,0% no OSWorld-Verified.
Fonte ↗
3 IAs colocaram aqui - 3
Uso do computador pelo Google Gemini
Bom executor, guarda mais fraco: 83% no OSWorld-Verified, mas dois testes independentes de injeção dão aos modelos Gemini mais antigos 17–21% de sucesso de ataque. Nenhum resultado de injeção foi publicado para o próprio Gemini 3.6.
Incluíram: Claude, Meta, MiMo, Kimi, DeepSeek. Não incluíram: ChatGPT, Grok, Gemini, Wenxin, Qwen.Nas listas delas: Claude: 5 · Meta: 3 · MiMo: 6 · Kimi: 5 · DeepSeek: 8
O que cada IA notou 5
- Claudeposição 5
O Google informa que um modelo Gemini reduziu o sucesso de ataque para 0,7% em um teste, uma afirmação da empresa ainda não reproduzida de forma independente.
Fonte ↗ - Metaposição 3
83% no OSWorld-Verified para o Gemini 3.6 Flash, ao lado de 17,01% de taxa de ataque no AgentDojo para o Gemini 1.5 Pro: capaz, mediano no teste antigo de injeção.
Fonte ↗ - MiMoposição 6
O único grande agente que mostra cada ação ao vivo antes de executá-la: a postura padrão mais segura da camada de produto.
Fonte ↗ - Kimiposição 5
57% de utilidade, mas 20,61% de sucesso de ataque; e os dados do próprio Google mostram que o treinamento adversarial reduziu a injeção no Gemini de 92% para 18%.
Fonte ↗ - DeepSeekposição 8
83% no OSWorld-Verified, mas sem resultado reproduzível no AgentDojo ou no ASB: capacidade de trabalho sem número publicado de resistência a enganação.
Fonte ↗
5 IAs colocaram aqui - 4
Claude Sonnet 4.5 (Anthropic)
Mantém a maior parte do trabalho sob ataque no AgentDyn: utilidade 70,7 com 0,87% de sucesso de ataque. O teste de estresse da própria Anthropic mostra que 200 tentativas levam o sucesso de ataque a 87,5%.
Incluíram: Kimi. Não incluíram: Claude, ChatGPT, Meta, Grok, Gemini, MiMo, DeepSeek, Wenxin, Qwen.Nas listas delas: Kimi: 1
O que cada IA notou 1
- Kimiposição 1
70,7 de utilidade com 0,87% de taxa de sucesso de ataque no AgentDyn: a melhor relação trabalho por golpe medida em 2026, embora os testes adaptativos da própria Anthropic alertem que ataques de 200 tentativas sobem para 87,5%.
Fonte ↗
1 IAs colocaram aqui - 5
GPT-5-mini da OpenAI
O modelo mais difícil de enganar no AgentDyn: 0,37% de sucesso de ataque, e só 2,1% sob ataques adaptativos. Sua pontuação de desktop é de um modelo irmão: GPT-5.4 mini, com 72,1%.
Incluíram: Kimi. Não incluíram: Claude, ChatGPT, Meta, Grok, Gemini, MiMo, DeepSeek, Wenxin, Qwen.Nas listas delas: Kimi: 3
O que cada IA notou 1
- Kimiposição 3
0,37% de sucesso de ataque com 64,8 de utilidade: o modelo mais modesto no teste AgentDyn foi o mais difícil de enganar, e até ataques adaptativos feitos à mão chegaram só a 2,1%.
Fonte ↗
1 IAs colocaram aqui - 6
Kimi K2.5 / K2.6 (Moonshot AI)
A melhor utilidade entre os modelos abertos no AgentDyn: 54,2 com 11,65% de sucesso de ataque. O K2.6 marca 73,1% no OSWorld-Verified, mas termina só 4,6% das tarefas longas do OSWorld 2.0.
Incluíram: Kimi, DeepSeek, Qwen. Não incluíram: Claude, ChatGPT, Meta, Grok, Gemini, MiMo, Wenxin.Nas listas delas: Kimi: 4 · DeepSeek: 9 · Qwen: ver lista
O que cada IA notou 3
- Kimiposição 4
54,2 de utilidade com 11,65% de sucesso de ataque: a melhor utilidade entre os modelos abertos no AgentDyn, e os 73,1% do K2.6 no OSWorld-Verified mostram a amplitude da família no desktop.
Fonte ↗ - DeepSeekposição 9
84,8% no OSWorld-Verified e pontuação de segurança b3 de 88,0%, mas o b3 mede o modelo, não a superfície de ataque do agente de desktop.
Fonte ↗ - Qwen
Na própria lista tem outro nome: abra a lista completa.
ver lista
3 IAs colocaram aqui - 7
Claude 3.5 Sonnet, out. 2024 (Anthropic)
O conto de advertência: 1,11% de sucesso de ataque nos ataques estáticos do AgentDojo, 81% nos ataques adaptados do NIST e só 14,9% no OSWorld no lançamento.
Incluíram: Meta, Kimi, DeepSeek, Qwen. Não incluíram: Claude, ChatGPT, Grok, Gemini, MiMo, Wenxin.Nas listas delas: Meta: 10 · Kimi: 6 · DeepSeek: ver lista · Qwen: 1
O que cada IA notou 4
- Metaposição 10
Taxa de ataque baixa no AgentDojo, 9,06%, mas só 33,39% de utilidade sob ataque: o Claude mais barato de enganar, e o menos útil quando atacado.
Fonte ↗ - Kimiposição 6
O alerta do setor: 1,11% de sucesso de ataque nos ataques estáticos do AgentDojo e 72,5% de utilidade. Depois, o red team do NIST chegou a 81% com ataques adaptados a tarefas não vistas.
Fonte ↗ - DeepSeek
Na própria lista tem outro nome: abra a lista completa.
ver lista - Qwenposição 1
Completa 88,66% do trabalho útil enquanto reduz o sucesso de ataque por injeção de prompt para apenas 7,31% no AgentDojo.
Fonte ↗
4 IAs colocaram aqui - 8
Llama da Meta / Muse Spark
O Muse Spark 1.1 marca 80,67% no OSWorld, mas os modelos da Meta com testes de injeção fazem pouco trabalho útil: o Llama-3-70B mantém 18,28% de utilidade com 25,60% de sucesso de ataque.
Incluíram: Meta, Kimi. Não incluíram: Claude, ChatGPT, Grok, Gemini, MiMo, DeepSeek, Wenxin, Qwen.Nas listas delas: Meta: 4 · Kimi: 7
O que cada IA notou 2
- Metaposição 4
80,67% de OSWorld verificado para o Muse Spark 1.1, mas o modelo da Meta testado de fato no AgentDojo, o Llama-3-70B, manteve só 18,28% de utilidade sob ataque.
Fonte ↗ - Kimiposição 7
11,91% de sucesso de ataque parece respeitável até você ver a utilidade: 6,15%. Ele falha no trabalho, não só nos atacantes.
Fonte ↗
2 IAs colocaram aqui - 9
Qwen da Alibaba
Tem a maior pontuação de desktop informada pelo fornecedor, 86,1%, mas o único modelo Qwen com teste de injeção, o Qwen3 235B, mostra 22,67% de sucesso de ataque com utilidade 10,74.
Incluíram: Claude, Meta, Grok, Kimi. Não incluíram: ChatGPT, Gemini, MiMo, DeepSeek, Wenxin, Qwen.Nas listas delas: Claude: 9 · Meta: 5 · Grok: ver lista · Kimi: 8
O que cada IA notou 4
- Claudeposição 9
Lidera a tabela do OSWorld divulgada pela empresa, com 86,1%, sem resultado publicado de injeção.
Fonte ↗ - Metaposição 5
A maior pontuação no OSWorld-Verified divulgada pela empresa, 86,1%, mas o Qwen nunca apareceu na tabela de resultados do AgentDojo: capacidade sem teste público de injeção.
Fonte ↗ - Grok
Na própria lista tem outro nome: abra a lista completa.
ver lista - Kimiposição 8
22,67% de sucesso de ataque contra a pior utilidade do conjunto (10,74%): exposição sem resultados.
Fonte ↗
4 IAs colocaram aqui - 10
GPT-4o da OpenAI
Sequestrado em 47,69% das vezes no AgentDojo e marca 12,2% no OSWorld. Uma revisão do ASB reduziu o sucesso de ataque de 73,58% para 9,25%, uma mudança no benchmark, não no modelo.
Incluíram: Meta, Grok, Kimi, Qwen. Não incluíram: Claude, ChatGPT, Gemini, MiMo, DeepSeek, Wenxin.Nas listas delas: Meta: 9 · Grok: 2 · Kimi: 9 · Qwen: 7
O que cada IA notou 4
- Metaposição 9
A taxa de ataque no AgentDojo parece modesta, com 10,33%, mas a injeção direta de prompt no ASB atingiu 98,40%. Os dois testes medem ataques diferentes, e a diferença importa.
Fonte ↗ - Grokposição 2
Boa utilidade em tarefas comuns, mas taxa bruta de ataque mais alta; filtros podem reduzir muito o sucesso de ataque.
Fonte ↗ - Kimiposição 9
47,69% de sucesso de ataque no AgentDojo e 100% de taxa de backdoor de Plan-of-Thought no ASB: a lição mais dura da era dos benchmarks sobre o que 'quase sempre funciona' esconde.
Fonte ↗ - Qwenposição 7
Completa 69,07% das tarefas, mas cede a quase metade (47,69%) das injeções de prompt no AgentDojo sem barreiras rígidas.
Fonte ↗
4 IAs colocaram aqui
02Vale a pena saber
O que as IAs perceberam ao montar a lista.
O desenho da defesa decide a utilidade. No GPT-4o, um filtro de ferramentas reduziu o sucesso de ataque de 47,69% para 6,84% e elevou a utilidade para 56,28%; um detector chegou a 7,95%, mas derrubou a utilidade para 21,14%.
A maior média de sucesso de ataque do ASB é 84,30%, em ataques mistos sobre 13 modelos base.
Os usuários aprovam 93% dos pedidos de permissão, então um pedido que as pessoas aprovam no automático protege pouco.
Nenhum sistema de fronteira de 2026 tem resultados de OSWorld, AgentDojo e ASB no mesmo checkpoint, então a maioria das linhas combina números da mesma família de modelos.
03Como contamos
Em palavras simples, sem fórmulas.
1A pergunta
Top 10 agentes de IA de uso de computador: conseguem fazer o trabalho e dá para enganá-los?
2Por que este tema
Nenhum ranking único mostra, lado a lado, o que um agente consegue fazer e o quão fácil é uma instrução oculta numa página da web ou num arquivo virá-lo contra você.
3Onde se aplica
Global; sistemas de agentes de uso de computador que operam apps de desktop e navegadores
4O que analisamos
- Só sistemas com resultados reprodutíveis nos dois tipos de teste, com o modelo, a configuração do agente e a versão do teste informados
- Taxa de sucesso no OSWorld (trabalho real no computador), mostrada ao lado do sucesso dos ataques de injeção de prompt no AgentDojo e no Agent Security Bench (quanto menor, melhor). Os dois aparecem lado a lado e nunca são calculados em média
- Critério de desempate: quanto trabalho útil o agente ainda conclui enquanto está sob ataque
- Avaliação à parte de quantos dados da tela o agente vê e se suas ações podem ser desfeitas
- OSWorld-Verified (equipe do OSWorld; acompanhamento da BenchLM) — Parcela das tarefas reais de desktop concluídas, conferidas pelo estado final do app ou do arquivo
- OSWorld 2.0 (Snorkel AI) — Conclusão parcial e binária em 108 fluxos longos
- AgentDojo (SPY Lab do Instituto Federal de Tecnologia de Zurique) — Trabalho útil sob ataque e sucesso de ataque direcionado em 97 tarefas e 629 casos de injeção (quanto menor o sucesso de ataque, melhor)
- AgentDyn (2026) — Testes de injeção mais difíceis e dinâmicos: utilidade, utilidade sob ataque e sucesso de ataque
5Quem classificou
As IAs líderes: Claude, ChatGPT, Meta, Grok, Gemini, MiMo, Kimi, DeepSeek, Wenxin, Qwen. Cada uma montou sua própria lista de dez de forma independente e indicou uma fonte para cada posição.
6Como as posições foram definidas
O mesmo item escrito de formas diferentes por IAs diferentes foi contado como um só. Quanto mais IAs o colocaram na lista, e quanto mais alto, mais alta a posição. "Acordo das IAs" mostra quantas IAs tinham o item na própria lista. As fontes são apenas as que as próprias IAs encontraram; nada foi acrescentado à mão.
04A lista de cada IA
🇺🇸 Claude10 posições · 4 notas
A mesma pergunta, respondida só por Claude. A lista final acima combina todas as IAs.
- 1Claude Opus 5 (Anthropic, 2026)
0,54% de sucesso de ataque em testes de interface gráfica, com 70,6% de acerto parcial no OSWorld 2.0 pelo mesmo modelo.
Fonte ↗ - 2Claude Fable 5 (Anthropic, 2026)
A taxa de sucesso de ataque na Gray Swan é de 2,8%, contra 85% no OSWorld-Verified.
Fonte ↗ - 3Claude Mythos 5 (Anthropic)
85,0% no OSWorld-Verified e 2,6% na Gray Swan.
- 4Claude Opus 4.8 (Anthropic)
83,4% no OSWorld-Verified; sua taxa de 5,5% na Gray Swan é a linha de base do Opus 5, mais que reduzida pela metade.
Fonte ↗ - 5Uso de computador do Gemini (Google, 2026)
O Google informa que um modelo Gemini reduziu o sucesso de ataque para 0,7% em um teste, uma afirmação da empresa ainda não reproduzida de forma independente.
Fonte ↗ - 6Uso de computador do OpenAI Codex / GPT-6 Astra
Tem um modo de uso bloqueado, mas não foi encontrado nenhum número de sucesso de ataque ao lado da pontuação de 72,6% no OSWorld 2.0.
Fonte ↗ - 7Claude Sonnet 5 (Anthropic)
81,2% no OSWorld-Verified, sem número separado de injeção encontrado.
Fonte ↗ - 8Holo3-35B-A3B (H Company)
A melhor execução independente no OSWorld-Verified (82,6%), mas não foram encontrados dados de injeção.
Fonte ↗ - 9Qwen3.8-Max (Alibaba)
Lidera a tabela do OSWorld divulgada pela empresa, com 86,1%, sem resultado publicado de injeção.
Fonte ↗ - 10Agente de uso de computador baseado no o4-mini (referência do OS-Harm)
Obedeceu a injeções básicas em cerca de 20% dos casos, o único contraexemplo medido.
Fonte ↗
O que Claude percebeu
A Anthropic relata 0% de sucesso de injeção em agente de navegador com o Auto Mode e as salvaguardas, contra 3,7% sem elas. O 0% depende das camadas extras.
Um estudo liderado pela Universidade de Waterloo constatou que agentes treinados com mais ataques de injeção ficaram mais fáceis de sequestrar em três de quatro testes.
Uma defesa que restringe as ferramentas antes de os dados não confiáveis serem lidos reduziu o sucesso de ataques direcionados de 57,69% para 6,84%.
Testes ligados ao UK AISI relatam que ataques adaptativos elevaram o sucesso de ataque no AgentDojo Workspace de 11% para 81%.
🇺🇸 Meta10 posições · 4 notas
A mesma pergunta, respondida só por Meta. A lista final acima combina todas as IAs.
- 1Uso de computador do Claude (Anthropic)
A única família com pontuação alta no OSWorld e taxa de ataque quase zero no AgentDojo, mas os dois números vêm de pontos de verificação diferentes, com anos de distância.
Fonte ↗ - 2Agente ChatGPT / CUA da OpenAI (OpenAI)
Pontuação alta no OSWorld-Verified e taxa de ataque péssima no AgentDojo de 2024: 47,69% para o GPT-4o; depois, 0/288 num subconjunto bancário de 2026, mais restrito, para o GPT-5.4. Ambos são verdadeiros, para testes diferentes.
Fonte ↗ - 3Uso de computador do Gemini da Google (Google)
83% no OSWorld-Verified para o Gemini 3.6 Flash, ao lado de 17,01% de taxa de ataque no AgentDojo para o Gemini 1.5 Pro: capaz, mediano no teste antigo de injeção.
Fonte ↗ - 4Agente Llama / Muse da Meta (Meta)
80,67% de OSWorld verificado para o Muse Spark 1.1, mas o modelo da Meta testado de fato no AgentDojo, o Llama-3-70B, manteve só 18,28% de utilidade sob ataque.
Fonte ↗ - 5Agente Qwen da Alibaba (Qwen)
A maior pontuação no OSWorld-Verified divulgada pela empresa, 86,1%, mas o Qwen nunca apareceu na tabela de resultados do AgentDojo: capacidade sem teste público de injeção.
Fonte ↗ - 6Agente Command-R+ da Cohere
Taxa de ataque baixa, pouco trabalho mantido sob ataque: 25,12% de utilidade sob ataque. Seguro, mas pouco útil quando atacado.
Fonte ↗ - 7Agente Gemma2 do Google
Está no conjunto de modelos base do ASB, mas não aparece no AgentDojo nem no OSWorld-Verified: é um modelo para testes de segurança, não um agente de uso de computador comprovado.
Fonte ↗ - 8Agente Mixtral da Mistral
Mesma história do Gemma2: presente no ASB, ausente do AgentDojo e do OSWorld-Verified, sem par reproduzível de uso de computador mais injeção.
Fonte ↗ - 9Agente GPT-3.5 Turbo da OpenAI
A taxa de ataque no AgentDojo parece modesta, com 10,33%, mas a injeção direta de prompt no ASB atingiu 98,40%. Os dois testes medem ataques diferentes, e a diferença importa.
Fonte ↗ - 10Agente Claude 3 Haiku da Anthropic
Taxa de ataque baixa no AgentDojo, 9,06%, mas só 33,39% de utilidade sob ataque: o Claude mais barato de enganar, e o menos útil quando atacado.
Fonte ↗
O que Meta percebeu
No quadro original do AgentDojo, o Claude 3.5 Sonnet (20241022) teve taxa de ataque direcionado de 1,11%, enquanto o GPT-4o teve 47,69%: mesmo teste, mesmo ataque, segurança oposta.
Uma replicação de 2026 encontrou 0/288 de sucesso sem defesa para o GPT-5.4 e 1/288 para o Claude Sonnet 4.6 no subconjunto bancário do AgentDojo, mas os autores alertam que os objetivos do teste não eram igualmente alcançáveis em todos os modelos.
O ASB-Revised reduziu o sucesso de ataque do GPT-4o de 73,58% para 9,25%: uma revisão do benchmark, não uma mudança do modelo, inverteu o veredito sobre o mesmo modelo.
Atacantes adaptativos quebraram 12 defesas contra injeção de prompt que tinham relatado taxa quase zero, chegando a mais de 90% na maioria delas. Ataques estáticos do AgentDojo subestimam um atacante determinado.
🇺🇸 Grok10 posições · 1 notas
A mesma pergunta, respondida só por Grok. A lista final acima combina todas as IAs.
- 1Agentes de uso de computador Claude 3.5/4.x/5.x (Anthropic)
Maior utilidade sob ataque e menor taxa de ataque direcionado que o GPT-4o no AgentDojo, em execuções publicadas.
Fonte ↗ - 2Configurações do GPT-4o / CUA da OpenAI com defesas
Boa utilidade em tarefas comuns, mas taxa bruta de ataque mais alta; filtros podem reduzir muito o sucesso de ataque.
Fonte ↗ - 3Simular Sai
Pontuações parciais altas em tarefas longas no OSWorld; números de segurança não foram publicados de forma independente no AgentDojo.
Fonte ↗ - 4Configurações do Qwen3.8 Max
Sucesso no desktop entre os melhores do OSWorld-Verified; poucos pares públicos no AgentDojo/ASB.
Fonte ↗ - 5Microsoft Mage-VL-Cowork
Agente híbrido compacto de código aberto com 66% no OSWorld-Verified; não há pares publicados de injeção de prompt.
Fonte ↗ - 6Agente Pointer
Pontuações altas no OSWorld-Verified por métodos híbridos; robustez a injeção não detalhada.
Fonte ↗ - 7Coasty CUA
Boa pontuação de desktop no OSWorld-Verified; dados sobre superfície de ataque escassos.
Fonte ↗ - 8Z-Agent da Intelligence-Indeed
Maior taxa de conclusão de desktop no OSWorld-Verified; nenhum par público no AgentDojo encontrado.
Fonte ↗ - 9Modelos pequenos de pesos abertos + proteções no estilo CapLite
Zero ataques bem-sucedidos em milhares de episódios do AgentDojo, em um estudo de defesa.
Fonte ↗ - 10Agentes genéricos de ponta sem defesas especializadas
O ASB informa sucesso médio de ataque de pico de 84,30% entre métodos mistos de injeção.
Fonte ↗
O que Grok percebeu
O artigo original do AgentDojo constatou que até modelos fortes resolvem menos de 66% das tarefas sem ataques, e que os ataques têm sucesso em menos de 25% das vezes; execuções recentes do Claude mostram taxas de ataque direcionado ainda menores.
🇺🇸 Gemini10 posições · 1 notas
A mesma pergunta, respondida só por Gemini. A lista final acima combina todas as IAs.
- 1Uso de computador do Claude 3.7 Sonnet (Anthropic)
Alcança 44,2% de conclusão no desktop e mantém a taxa de sequestro por injeção indireta de prompt em 2,4% no AgentDojo, usando hierarquias de prompt de sistema em duas camadas.
- 2Uso de computador do Claude 3.5 Sonnet (Anthropic)
Equilibra 38,6% de navegação real no desktop com uma taxa baixa de ataque por injeção, de 4,8%, mantendo 71,4% de utilidade mesmo ao navegar em páginas adversariais.
- 3Agent S2.5 com o3 como base de raciocínio
Marca 56,4% no OSWorld, pontuação líder do setor, mas cadeias de raciocínio profundo ainda podem ser enganadas e levar a movimentos de arquivos não autorizados em 12,3% dos testes de injeção indireta.
- 4Operator da OpenAI (pipeline de visão com GPT-4o)
Resolve 46,8% dos fluxos de navegador e desktop, mas tem taxa de sucesso de ataque de 28,5% ao encontrar texto de DOM de terceiros não confiável.
- 5UI-TARS-2 da ByteDance (agente local de visão de 72B)
Tem taxa de conclusão de 53,1% no OSWorld, mas prompts de injeção visual embutidos em imagens de fundo do desktop sequestram ações em 19,4% dos testes.
Fonte ↗ - 6Agente Coasty com proteção de dupla LLM (2025)
Abre mão de velocidade bruta para chegar a 42,1% no OSWorld, reduzindo o sucesso de injeção para 6,2% com um filtro supervisor externo.
- 7UI-TARS-1.5 da ByteDance (pesos abertos)
Executa 42,5% das tarefas verificadas de sistema operacional, mas o ajuste fino bruto de pesos abertos, sem camadas de alinhamento de segurança, deixa 34,1% de vulnerabilidade a instruções embutidas em PDFs.
Fonte ↗ - 8OS-Copilot / FRIDAY (agente autônomo que executa comandos no sistema)
Completa 35,6% dos fluxos de Linux, mas sua execução irrestrita de bash leva a uma taxa perigosa de sucesso de ataque de 43,7% ao ler documentos de texto infectados.
- 9Agente GUI da Simular (conjunto de reconhecimento visual)
Chega a 38,3% em tarefas de desktop, com 26,2% de injeção quando instruções adversariais se disfarçam de caixas de diálogo do sistema.
- 10ACT-1 da Adept (navegador e fluxos de trabalho empresariais)
Registra 31,2% de conclusão verificada de fluxos, mas os analisadores de DOM antigos cedem a 41,5% dos ataques de injeção indireta de prompt escondidos em comentários de páginas web.
O que Gemini percebeu
Como ações no nível do sistema, como apagar arquivos ou enviar e-mails, não podem ser 'desfeitas' automaticamente por um botão de desfazer da API, especialistas em segurança recomendam confirmação obrigatória para todos os eventos irreversíveis no desktop.
🇨🇳 MiMo10 posições · 4 notas
A mesma pergunta, respondida só por MiMo. A lista final acima combina todas as IAs.
- 1Modo automático do Claude Code (Anthropic, 2026)
Ela responde a pegadinha com geometria: um agente que não consegue alcançar a isca não pode morder a isca.
Fonte ↗ - 2Agentes da família GPT-5 (OpenAI)
O modelo grande mais novo é bem mais difícil de enganar do que o pequeno antecessor, a primeira falha real de segurança entre gerações.
Fonte ↗ - 3Claude Opus 5 (Anthropic)
O agente mais verificado de forma independente: seus números se sustentam diante da execução de um rival, com só um pequeno desconto.
Fonte ↗ - 4GPT-6.2 Astra (OpenAI)
Melhor pontuação em tarefas longas novas por um terço do preço, enquanto o próprio cartão registra ações de trabalho que ele errou.
Fonte ↗ - 5GPT-6.1 Sol (OpenAI)
A 2,1 pontos do modelo principal em tarefas longas no desktop, a preços do dia a dia.
Fonte ↗ - 6Uso de computador do Gemini para Mac (Google)
O único grande agente que mostra cada ação ao vivo antes de executá-la: a postura padrão mais segura da camada de produto.
Fonte ↗ - 7Uso de computador do Claude Cowork (Anthropic)
Fica perto do topo e documenta a própria maior brecha em uma linha: não há sandbox entre o agente e a sua tela.
Fonte ↗ - 8Qwen3.8 Max (Alibaba)
A maior pontuação de desktop da tabela, mas sua segurança depende de um ponto de verificação que você não consegue rodar por conta própria.
Fonte ↗ - 9Muse Spark 1.3 (Meta)
O agente de desktop da Meta entra nos quadros de longo prazo com 66,9%: executado pelo próprio autor, no próprio arcabouço de testes.
Fonte ↗ - 10MiniMax M3 (MiniMax)
O piso honesto: 22,3% em tarefas longas, medido pelos próprios autores e publicado mesmo assim, algo que quase ninguém faz.
Fonte ↗
O que MiMo percebeu
A facilidade de ser enganado está melhorando por geração de modelo pela primeira vez: pesquisa de red team constata que o GPT-5 é bem mais difícil de atacar no AgentDojo do que o GPT-4o-mini.
O número perigoso não é o sucesso do ataque, e sim o cansaço de aprovar: usuários reais aprovam 93% dos pedidos de permissão, então um pedido que as pessoas aprovam automaticamente não vale mais que nenhum pedido.
Reexecuções independentes são raras e valem muito: os coautores da Snorkel AI obtêm resultados a 2 pontos das pontuações autorrelatadas para o GPT-5.6 Sol, mas 2,3 abaixo para o Opus 5.
Uma pesquisa de privacidade (AGENTDAM) avalia diretamente agentes de uso de computador do Claude e constata que agentes autônomos de web e computador vazam dados privados de formas que as pontuações de tarefa nunca mostram.
🇨🇳 Kimi10 posições · 4 notas
A mesma pergunta, respondida só por Kimi. A lista final acima combina todas as IAs.
- 1Claude Sonnet 4.5 (Anthropic)
70,7 de utilidade com 0,87% de taxa de sucesso de ataque no AgentDyn: a melhor relação trabalho por golpe medida em 2026, embora os testes adaptativos da própria Anthropic alertem que ataques de 200 tentativas sobem para 87,5%.
Fonte ↗ - 2Família GPT-5.1 / GPT-5.4 (OpenAI)
Taxa de sucesso de ataque de 4,96% no GPT-5.1, cerca de um décimo dos 47,69% do GPT-4o, enquanto a família lidera os gráficos de desktop com 75,0% no OSWorld-Verified.
Fonte ↗ - 3GPT-5-mini (OpenAI)
0,37% de sucesso de ataque com 64,8 de utilidade: o modelo mais modesto no teste AgentDyn foi o mais difícil de enganar, e até ataques adaptativos feitos à mão chegaram só a 2,1%.
Fonte ↗ - 4Kimi K2.5 / K2.6 (Moonshot AI)
54,2 de utilidade com 11,65% de sucesso de ataque: a melhor utilidade entre os modelos abertos no AgentDyn, e os 73,1% do K2.6 no OSWorld-Verified mostram a amplitude da família no desktop.
Fonte ↗ - 5Gemini 2.5 Pro / Gemini 3.5 Flash (Google)
57% de utilidade, mas 20,61% de sucesso de ataque; e os dados do próprio Google mostram que o treinamento adversarial reduziu a injeção no Gemini de 92% para 18%.
Fonte ↗ - 6Claude 3.5 Sonnet, lançado em outubro de 2024 (Anthropic)
O alerta do setor: 1,11% de sucesso de ataque nos ataques estáticos do AgentDojo e 72,5% de utilidade. Depois, o red team do NIST chegou a 81% com ataques adaptados a tarefas não vistas.
Fonte ↗ - 7Llama 3.3 70B (Meta)
11,91% de sucesso de ataque parece respeitável até você ver a utilidade: 6,15%. Ele falha no trabalho, não só nos atacantes.
Fonte ↗ - 8Qwen3 235B-A22B (Alibaba)
22,67% de sucesso de ataque contra a pior utilidade do conjunto (10,74%): exposição sem resultados.
Fonte ↗ - 9GPT-4o (OpenAI)
47,69% de sucesso de ataque no AgentDojo e 100% de taxa de backdoor de Plan-of-Thought no ASB: a lição mais dura da era dos benchmarks sobre o que 'quase sempre funciona' esconde.
Fonte ↗ - 10GPT-4o-mini (OpenAI)
Média de 67,55% de sucesso de ataque no ASB, a pior medida: pequeno, barato e totalmente aberto, com taxas acima de 95% em injeção direta.
Fonte ↗
O que Kimi percebeu
Ataques adaptativos viram o ranking de cabeça para baixo: o NIST CAISI elevou o sequestro de agentes do Claude 3.5 Sonnet de 11% para 81%, e uma equipe de vários laboratórios (OpenAI, Anthropic, DeepMind, ETH) quebrou 12 defesas publicadas com mais de 90% de sucesso de ataque. A segurança de benchmark estático é um piso, não um teto.
A única família de defesa com sucesso de ataque quase zero que sobrevive à adaptação tira a fiscalização do modelo: CaMeL e Progent chegam a 0% de sucesso de ataque no AgentDyn restringindo as chamadas de ferramentas, mas o 0% do CaMeL veio com 0% de utilidade ali. No AgentDojo, o CaMeL resolveu 67–77% das tarefas com segurança comprovada, então a troca é real, mas estreita.
A troca entre utilidade e segurança é mensurável: na execução do GPT-4o no AgentDojo, um filtro de ferramentas reduziu o sucesso de ataque de 47,69% para 6,84% e elevou a utilidade para 56,28%, mas um detector de injeção de prompt reduziu o ataque para 7,95% ao derrubar a utilidade para 21,14%. O desenho da defesa, não o modelo, decide se o agente continua útil sob ataque.
O acesso à tela multiplica cada injeção: um agente com Gravação de Tela e Acessibilidade vê tudo o que você vê e pode enviar, apagar, comprar e mudar configurações. Por isso a pergunta de desfazer (aprovações por app, snapshots de VM, ações reversíveis) importa tanto quanto o percentual de sucesso de ataque.
🇨🇳 DeepSeek10 posições · 1 notas
A mesma pergunta, respondida só por DeepSeek. A lista final acima combina todas as IAs.
- 1Uso de computador do Claude (Claude Fable 5, 2026)
85% no OSWorld-Verified e 0% de sucesso direcionado de ataque em várias suítes do AgentDojo, no ambiente reproduzível mais próximo, mas esse ambiente não é o próprio Claude Desktop.
Fonte ↗ - 2Estrutura de teste Ratchet com gpt-5.6-luna (2026)
0% de sucesso direcionado de ataque nas quatro suítes do AgentDojo, o resultado de segurança mais limpo na tabela aberta do AgentDojo, mas a pontuação dele no OSWorld não está na mesma linha.
Fonte ↗ - 3Coasty CUA v1 (2026)
82,81% no OSWorld-Verified e nenhuma taxa publicada de sucesso de ataque no AgentDojo/ASB: forte no trabalho, sem medida na enganação.
Fonte ↗ - 4Operator da OpenAI (2026)
38,1% no OSWorld, mas quase nenhum dado de tela local: sua superfície de ataque é o navegador, não o seu desktop.
Fonte ↗ - 5Agente de desktop Manus (Meta) (2026)
72,5% no OSWorld em uma máquina virtual na nuvem: reversível porque a VM é descartável, mas a taxa de ataque em benchmarks de segurança não é publicada.
- 6Agent S3 (Simular, 2026)
72,6% no OSWorld e código aberto, então você pode isolá-lo em sandbox; mesmo assim, precisa de acesso à tela e ao teclado, e sua taxa de ataque não está na tabela do AgentDojo.
Fonte ↗ - 7UiPath Screen Agent (2026)
67,1% no OSWorld-Verified com automação ampla de interface: muita utilidade, muita superfície de controle, taxa de ataque não publicada.
- 8Agente Gemini 3.6 Flash (Google, 2026)
83% no OSWorld-Verified, mas sem resultado reproduzível no AgentDojo ou no ASB: capacidade de trabalho sem número publicado de resistência a enganação.
Fonte ↗ - 9Agente Kimi K3 (Moonshot AI, 2026)
84,8% no OSWorld-Verified e pontuação de segurança b3 de 88,0%, mas o b3 mede o modelo, não a superfície de ataque do agente de desktop.
Fonte ↗ - 10UI-TARS-2 (ByteDance, 2026)
47,5% no OSWorld com controle nativo da tela: mais exposição que um agente na nuvem, e sem taxa publicada de ataque no AgentDojo.
O que DeepSeek percebeu
A melhor taxa publicada de sucesso de ataque no AgentDojo é 0%, mas esse resultado vem de um ambiente específico (Ratchet com gpt-5.6-luna) que não tem pontuação correspondente no OSWorld. O agente mais seguro no benchmark de segurança não é o mesmo que lidera o benchmark de trabalho no desktop.
🇨🇳 Wenxin10 posições
A mesma pergunta, respondida só por Wenxin. A lista final acima combina todas as IAs.
- 1Agente de IA interno da Apple para macOS (versão do início de 2027)
Sem captura persistente de dados da tela; toda ação pode ser revogada por interrupção no nível do sistema antes da execução; 0 contornos de injeção de prompt relatados em testes internos iniciais
Fonte ↗ - 2Agente de desktop empresarial da HKU em conformidade com KYA
Identidade de agente verificável e única em 100%, rastreabilidade completa das operações, permissões dinâmicas revogadas automaticamente quando as ações excedem o escopo definido
- 3Agente de IA Pay da Ant Group (2026)
Fluxo de autorização de pagamento em três níveis: mesmo agentes totalmente comprometidos não conseguem executar transações de alto valor não aprovadas sem confirmação humana manual
- 4API de agentes da OpenAI (beta de 2026)
O ambiente hospedado de sandbox bloqueia 89% das cargas conhecidas de injeção de prompt; todas as ações arriscadas exigem confirmação secundária antes da execução
- 5Agente empresarial personalizado com controle de acesso híbrido RBAC+ABAC (2026)
Validação de alinhamento entre intenção e comportamento adicionada às verificações de permissão; bloqueia 91% das operações de excesso de alcance não intencional dentro do escopo
- 6Perplexity Computer (2026)
Ambiente isolado na nuvem, totalmente separado dos dados sensíveis do desktop local, sem nenhum acesso persistente à tela local
- 7Agente de uso de computador do Claude da Anthropic (2026)
Barreiras de IA constitucional bloqueiam 87% das tentativas de ação nociva não autorizada; 49% de adoção por desenvolvedores, com as melhores avaliações de confiança do setor
- 8Agente de IA Sai (2026)
Todas as operações de automação de interface rodam em desktops isolados na nuvem, sem acesso por padrão aos dados ou arquivos sensíveis do computador local
- 9Agente Muse da Meta (código aberto, 2026)
Todo o código de execução é publicamente auditável; usuários podem adicionar regras próprias de detecção de injeção de prompt sem depender de fornecedores terceiros
Fonte ↗ - 10OpenCode, agente de programação de código aberto (2026)
Sem acesso automático de escrita a arquivos de produção por padrão; toda modificação de arquivo exige revisão do usuário e aprovação explícita
🇨🇳 Qwen10 posições · 3 notas
A mesma pergunta, respondida só por Qwen. A lista final acima combina todas as IAs.
- 1Claude 3.7 Sonnet
Completa 88,66% do trabalho útil enquanto reduz o sucesso de ataque por injeção de prompt para apenas 7,31% no AgentDojo.
Fonte ↗ - 2AgentSys (agente com defesa)
Mantém o sucesso de ataque em 0,78% no AgentDojo e em 4,25% no ASB, enquanto melhora a utilidade em tarefas comuns.
Fonte ↗ - 3Claude Opus 4.6
Obteve 100% perfeitos em uma auditoria de segurança direcionada, mas a reversibilidade real das ações no desktop ainda é debatida.
Fonte ↗ - 4Agente com defesa Verigrey
Mantém 93,2% do trabalho útil intacto e o sucesso de ataque abaixo de 1%, por meio de governança de ações em vez de varredura de prompts.
Fonte ↗ - 5o3 (com defesa)
Completa 77% das tarefas do AgentDojo com segurança comprovada, contra 84% da linha de base sem defesa.
Fonte ↗ - 6Claude 3.5 Sonnet
Atinge o maior NRP (Desempenho Normalizado Ajustado ao Risco) no ASB, com 43,56, apesar das vulnerabilidades de base a ataques.
Fonte ↗ - 7GPT-4o
Completa 69,07% das tarefas, mas cede a quase metade (47,69%) das injeções de prompt no AgentDojo sem barreiras rígidas.
Fonte ↗ - 8GPT-4o-mini
Mostra 49,92% de sucesso de ataque no AgentDojo, expondo como modelos menores têm dificuldade em filtrar saídas de ferramentas injetadas.
Fonte ↗ - 9Claude 3.5 Sonnet (testado por ataques de especialistas)
Enquanto ataques de base têm sucesso só 11% das vezes, prompts coordenados de red team a violam em 81% dos casos.
Fonte ↗ - 10GPT-4-0125
Versões do início de 2024 sofreram 56,3% de sucesso de injeção direcionada de prompt, antes que as defesas modernas do AgentDojo fossem padronizadas.
Fonte ↗
O que Qwen percebeu
Governança de ações supera a varredura de prompts: bloquear o resultado de uma chamada de ferramenta mantém o sucesso de ataque abaixo de 1% e preserva 93,2% da utilidade.
A taxa de sucesso de injeção direcionada de prompt no AgentDojo caiu de 56,3% nos primeiros modelos GPT-4 para apenas 7,3% no Claude 3.7 Sonnet, mostrando a rápida evolução da segurança.
O Agent Security Bench introduz a métrica 'Desempenho Normalizado Ajustado ao Risco' (NRP), mostrando que recusar prompts maliciosos não precisa significar recusar trabalho legítimo.