적응형 공격자들은 공격 성공률이 거의 0이라고 발표된 프롬프트 인젝션 방어 12종을 뚫었고, 대부분을 90% 넘게 끌어올렸습니다.
2026 AI 에이전트 프롬프트 인젝션 순위
Claude 3.5 Sonnet은 AgentDojo의 표준 프롬프트 인젝션 공격 중 1.11%를 제외하고 모두 막아냈습니다. 그러나 NIST의 레드팀(공격 시험팀)은 같은 세대의 에이전트를 변형된 공격으로 81%의 확률로 장악했습니다.
- 1위: Claude Opus 5 (앤트로픽)
- 10개 순위
01최종 목록
선도 AI들이 각자 독립적으로 열 개짜리 목록을 만들었습니다. 확인하기 쉬운 하나의 결과입니다. 모든 순위에는 이유, 출처, 그 항목을 넣은 AI 목록이 있습니다.
두 가지 시험 모두에서 재현 가능한 결과가 있고, 모델, 에이전트 설정, 벤치마크 버전이 밝혀진 시스템만 포함합니다.
밝은 배지는 해당 AI가 이 항목을 자기 목록에 넣었다는 뜻이고, 흐린 배지는 넣지 않았다는 뜻입니다.
- 1
Claude Opus 5 (앤트로픽)
최적 조합은 OSWorld-Verified 83.39%와 GUI 인젝션 성공률 0.54%입니다. 인젝션 수치는 앤트로픽 자체 발표이며, AgentDojo나 ASB 실행 결과는 공개되지 않았습니다.
포함함: Claude, MiMo, Kimi, DeepSeek. 포함하지 않음: ChatGPT, Meta, Grok, Gemini, Wenxin, Qwen.각 AI 목록에서의 순위: Claude: 1 · MiMo: 3 · Kimi: 목록 보기 · DeepSeek: 1
각 AI가 짚은 점 4
AI 4개가 이 순위로 선택 - 2
오픈AI GPT-5 계열 (GPT-5.1 / 5.4 / 5.5)
GPT-5.1은 AgentDyn에서 4.96%의 확률로 장악되었는데, 이는 GPT-4o 비율의 약 10분의 1입니다. GPT-5.4는 2026년 재현 실험에서 288번 시도해 한 번도 뚫리지 않았습니다. GPT-5.5는 OSWorld-Verified에서 78.7%를 기록합니다.
포함함: Meta, MiMo, Kimi. 포함하지 않음: Claude, ChatGPT, Grok, Gemini, DeepSeek, Wenxin, Qwen.각 AI 목록에서의 순위: Meta: 2 · MiMo: 2 · Kimi: 2
각 AI가 짚은 점 3
- Meta2위
OSWorld-Verified 점수는 높지만, GPT-4o는 2024년 AgentDojo 공격 성공률이 47.69%로 나빴습니다. 이후 GPT-5.4는 2026년 은행 업무 일부 시험에서 288건 중 0건이었습니다. 둘 다 사실이지만, 서로 다른 시험의 결과입니다.
출처 ↗ - MiMo2위
가장 큰 최신 모델이 작은 전작보다 확실히 속이기 어렵습니다. 세대별로 보안 차이가 실제로 드러난 첫 사례입니다.
출처 ↗ - Kimi2위
GPT-5.1에서 공격 성공률은 4.96%입니다. GPT-4o의 47.69%의 약 10분의 1이며, 이 계열은 OSWorld-Verified 75.0%로 데스크톱 차트 1위입니다.
출처 ↗
AI 3개가 이 순위로 선택 - 3
구글 Gemini 컴퓨터 사용
작업 능력은 강하지만 방어는 약합니다. OSWorld-Verified에서 83%이지만, 독립된 두 인젝션 테스트에서 이전 Gemini 모델의 공격 성공률은 17~21%였습니다. Gemini 3.6 자체의 인젝션 결과는 공개되지 않았습니다.
포함함: Claude, Meta, MiMo, Kimi, DeepSeek. 포함하지 않음: ChatGPT, Grok, Gemini, Wenxin, Qwen.각 AI 목록에서의 순위: Claude: 5 · Meta: 3 · MiMo: 6 · Kimi: 5 · DeepSeek: 8
각 AI가 짚은 점 5
- Claude5위
구글은 한 Gemini 모델이 벤치마크에서 공격 성공률을 0.7%까지 낮췄다고 밝혔습니다. 회사 주장이며 아직 독립적으로 재현되지 않았습니다.
출처 ↗ - Meta3위
Gemini 3.6 Flash는 OSWorld-Verified 83%입니다. 옛 Gemini 1.5 Pro는 AgentDojo 공격 성공률이 17.01%로, 능력은 있지만 옛 주입 시험에서는 중간 수준입니다.
출처 ↗ - MiMo6위
모든 행동을 실시간으로 미리 보여주는 유일한 주요 에이전트입니다. 제품 계층에서 가장 안전한 기본 설정입니다.
출처 ↗ - Kimi5위
작업 유지율은 57%지만 공격 성공률은 20.61%입니다. 구글 자체 자료에 따르면, 적대적 학습이 Gemini의 주입 성공률을 92%에서 18%로 낮춘 원인이었습니다.
출처 ↗ - DeepSeek8위
OSWorld-Verified 83%이지만, 재현 가능한 AgentDojo나 ASB 결과가 없습니다. 작업 능력은 있지만 속임 저항성 수치는 공개되지 않았습니다.
출처 ↗
AI 5개가 이 순위로 선택 - 4
Claude Sonnet 4.5 (앤트로픽)
AgentDyn에서 공격을 받는 상황에서도 가장 많은 작업을 지킵니다. 유용성 70.7, 공격 성공률 0.87%입니다. 앤트로픽의 자체 스트레스 테스트에서는 200번 시도하면 공격 성공률이 87.5%까지 올라갑니다.
포함함: Kimi. 포함하지 않음: Claude, ChatGPT, Meta, Grok, Gemini, MiMo, DeepSeek, Wenxin, Qwen.각 AI 목록에서의 순위: Kimi: 1
각 AI가 짚은 점 1
- Kimi1위
AgentDyn에서 작업 유지율 70.7, 공격 성공률 0.87%입니다. 2026년 측정치 가운데 작업량 대비 속임 비율이 가장 좋지만, 앤트로픽의 적응형 시험은 200번 시도하는 공격에서 87.5%까지 오른다고 경고합니다.
출처 ↗
AI 1개가 이 순위로 선택 - 5
오픈AI GPT-5-mini
AgentDyn에서 가장 속이기 어려운 모델입니다. 공격 성공률은 0.37%이고, 적응형 공격에서도 2.1%뿐입니다. 데스크톱 점수는 같은 계열 모델인 GPT-5.4 mini의 72.1%입니다.
포함함: Kimi. 포함하지 않음: Claude, ChatGPT, Meta, Grok, Gemini, MiMo, DeepSeek, Wenxin, Qwen.각 AI 목록에서의 순위: Kimi: 3
각 AI가 짚은 점 1
- Kimi3위
공격 성공률 0.37%, 작업 유지율 64.8입니다. AgentDyn 시험에서 가장 조심스러운 모델이 가장 속이기 어려웠고, 사람이 직접 만든 적응형 공격도 2.1%에만 이르렀습니다.
출처 ↗
AI 1개가 이 순위로 선택 - 6
Kimi K2.5 / K2.6 (문샷 AI)
AgentDyn에서 공개 모델 중 유용성이 가장 높습니다. 54.2이며 공격 성공률은 11.65%입니다. K2.6은 OSWorld-Verified에서 73.1%지만 긴 OSWorld 2.0 작업은 4.6%만 끝냅니다.
포함함: Kimi, DeepSeek, Qwen. 포함하지 않음: Claude, ChatGPT, Meta, Grok, Gemini, MiMo, Wenxin.각 AI 목록에서의 순위: Kimi: 4 · DeepSeek: 9 · Qwen: 목록 보기
AI 3개가 이 순위로 선택 - 7
Claude 3.5 Sonnet, 2024년 10월 (앤트로픽)
경고 사례입니다. AgentDojo 정적 공격에서는 1.11%, NIST의 변형 공격에서는 81%였고, 출시 당시 OSWorld 점수는 14.9%뿐이었습니다.
포함함: Meta, Kimi, DeepSeek, Qwen. 포함하지 않음: Claude, ChatGPT, Grok, Gemini, MiMo, Wenxin.각 AI 목록에서의 순위: Meta: 10 · Kimi: 6 · DeepSeek: 목록 보기 · Qwen: 1
각 AI가 짚은 점 4
- Meta10위
AgentDojo 공격 성공률은 9.06%로 낮지만, 공격받을 때 작업 완수율은 33.39%에 그칩니다. 가장 싼 클로드 모델이라 속는 일이 가장 적지만, 공격받을 때는 가장 덜 쓸모 있습니다.
출처 ↗ - Kimi6위
이 분야의 경고 사례입니다. AgentDojo 고정 공격에서는 공격 성공률 1.11%, 작업 유지율 72.5였지만, NIST 레드팀은 처음 보는 과제에서 적응형 공격으로 81%에 이르렀습니다.
출처 ↗ - DeepSeek
자체 목록에서는 다른 이름입니다: 전체 목록을 여세요.
목록 보기 - Qwen1위
유용한 작업의 88.66%를 수행하면서, AgentDojo에서 프롬프트 주입 공격 성공률을 7.31%까지 낮춥니다.
출처 ↗
AI 4개가 이 순위로 선택 - 8
메타 Llama / Muse Spark
Muse Spark 1.1은 OSWorld에서 80.67%지만, 인젝션 테스트를 거친 메타 모델들은 쓸 만한 작업을 거의 하지 못합니다. Llama-3-70B는 유용성 18.28%를 유지하면서 공격 성공률이 25.60%입니다.
포함함: Meta, Kimi. 포함하지 않음: Claude, ChatGPT, Grok, Gemini, MiMo, DeepSeek, Wenxin, Qwen.AI 2개가 이 순위로 선택 - 9
알리바바 Qwen
제조사 발표 기준 데스크톱 점수는 86.1%로 최고입니다. 그러나 인젝션 테스트가 있는 유일한 Qwen 모델인 Qwen3 235B는 공격 성공률 22.67%, 유용성 10.74를 보입니다.
포함함: Claude, Meta, Grok, Kimi. 포함하지 않음: ChatGPT, Gemini, MiMo, DeepSeek, Wenxin, Qwen.각 AI 목록에서의 순위: Claude: 9 · Meta: 5 · Grok: 목록 보기 · Kimi: 8
각 AI가 짚은 점 4
- Claude9위
제조사가 공개한 OSWorld 표에서 86.1%로 1위지만, 프롬프트 주입 공격 결과는 공개되지 않았습니다.
출처 ↗ - Meta5위
제조사 보고 기준 OSWorld-Verified 최고 점수는 86.1%입니다. 그러나 Qwen은 AgentDojo 결과표에 한 번도 없었습니다. 능력은 있지만 공개된 주입 시험은 없습니다.
출처 ↗ - Grok
자체 목록에서는 다른 이름입니다: 전체 목록을 여세요.
목록 보기 - Kimi8위
공격 성공률 22.67%인데, 집합에서 작업 유지율이 가장 낮습니다(10.74%). 노출은 있지만 결과는 없습니다.
출처 ↗
AI 4개가 이 순위로 선택 - 10
오픈AI GPT-4o
AgentDojo에서 47.69%의 확률로 장악되며, OSWorld 점수는 12.2%입니다. 수정된 ASB에서는 공격 성공률이 73.58%에서 9.25%로 떨어졌는데, 이는 모델이 아니라 벤치마크가 바뀐 결과입니다.
포함함: Meta, Grok, Kimi, Qwen. 포함하지 않음: Claude, ChatGPT, Gemini, MiMo, DeepSeek, Wenxin.각 AI 목록에서의 순위: Meta: 9 · Grok: 2 · Kimi: 9 · Qwen: 7
각 AI가 짚은 점 4
- Meta9위
AgentDojo 공격 성공률은 10.33%로 낮아 보이지만, ASB의 직접 프롬프트 주입은 98.40%에 달했습니다. 두 시험은 서로 다른 공격을 측정하며, 그 차이가 중요합니다.
출처 ↗ - Grok2위
정상 작업 능력은 강하지만 원시 공격 성공률이 높습니다. 필터를 쓰면 공격 성공률을 크게 낮출 수 있습니다.
출처 ↗ - Kimi9위
AgentDojo 공격 성공률 47.69%이고, ASB에서 Plan-of-Thought 백도어 성공률은 100%입니다. '대체로 잘 작동한다'는 말이 무엇을 숨기는지 보여 주는, 벤치마크 시대의 가장 어려운 교훈입니다.
출처 ↗ - Qwen7위
과제의 69.07%를 완료하지만, 엄격한 가드레일이 없으면 AgentDojo 프롬프트 주입의 거의 절반(47.69%)에 넘어갑니다.
출처 ↗
AI 4개가 이 순위로 선택
02알아 둘 만한 것
AI들이 목록을 만들며 발견한 것.
방어 설계가 실용성을 결정합니다. GPT-4o에서 도구 필터는 공격 성공률을 47.69%에서 6.84%로 낮추고 유용성을 56.28%로 올렸습니다. 탐지기는 7.95%까지 낮췄지만 유용성은 21.14%로 떨어뜨렸습니다.
ASB에서 가장 높은 평균 공격 성공률은 84.30%이며, 13개 모델 기반에 걸친 혼합 공격에서 나온 수치입니다.
사용자는 권한 요청의 93%를 승인합니다. 습관적으로 누르는 권한 요청은 보호 효과가 거의 없습니다.
2026년 기준 최첨단 시스템 중 같은 체크포인트에서 OSWorld, AgentDojo, ASB 결과를 모두 가진 모델은 없습니다. 그래서 대부분의 행은 같은 모델 계열의 수치를 짝지은 것입니다.
03집계 방법
공식 없이 쉬운 말로.
1질문
AI 컴퓨터 조작 에이전트 TOP 10: 일은 잘할까, 속기도 할까?
2이 주제를 고른 이유
단일 순위표는 에이전트가 할 수 있는 일과, 웹페이지나 파일에 숨겨진 지시 하나에 얼마나 쉽게 넘어가는지를 함께 보여 주지 않습니다.
3적용 범위
전 세계; 데스크톱 앱과 브라우저를 조작하는 컴퓨터 조작 에이전트 시스템
4살펴본 기준
- 두 가지 시험 모두에서 재현 가능한 결과가 있고, 모델, 에이전트 설정, 벤치마크 버전이 밝혀진 시스템만 포함합니다.
- OSWorld(실제 데스크톱 작업)의 과제 성공률을 AgentDojo와 에이전트 보안 벤치마크(ASB)의 프롬프트 인젝션 공격 성공률과 나란히 보여 줍니다(낮을수록 좋음). 두 값은 나란히만 보여 주며 평균 내지 않습니다.
- 동점 기준: 공격을 받는 중에도 에이전트가 쓸모 있는 일을 얼마나 끝내는지
- 에이전트가 화면 정보를 얼마나 많이 보는지, 그리고 그 동작을 되돌릴 수 있는지에 대한 별도 판단
- OSWorld-Verified (OSWorld 팀; BenchLM 추적 자료) — 실제 데스크톱 작업 중 완료된 비율, 최종 앱이나 파일 상태로 확인
- OSWorld 2.0 (Snorkel AI) — 장기 워크플로 108개에서 부분 완료와 이진(완료·미완료) 완료 비율
- AgentDojo (취리히 연방 공과대학교 SPY Lab) — 작업 97개와 인젝션 사례 629개에서 공격 중 유용성과 표적 공격 성공률(낮을수록 좋음)
- AgentDyn (2026) — 더 어렵고 동적인 인젝션 테스트: 유용성, 공격 중 유용성, 공격 성공률
5순위를 매긴 AI
선도 AI: Claude, ChatGPT, Meta, Grok, Gemini, MiMo, Kimi, DeepSeek, Wenxin, Qwen. 각 AI가 독립적으로 10위까지의 목록을 만들고 순위마다 출처를 밝혔습니다.
6순위를 정한 방법
AI마다 다르게 쓴 같은 항목은 하나로 셌습니다. 더 많은 AI가 목록에 넣고 더 높이 놓을수록 순위가 높아집니다. 'AI 합의'는 그 항목을 자기 목록에 넣은 AI의 수를 보여 줍니다. 출처는 AI가 직접 찾은 것뿐이며 사람이 추가한 것은 없습니다.
04AI별 목록
🇺🇸 Claude10개 순위 · 메모 4개
같은 질문에 Claude 혼자 답한 결과입니다. 위의 최종 목록은 모든 AI를 종합합니다.
- 1Claude Opus 5 (앤트로픽, 2026)
GUI 테스트에서 공격 성공률은 0.54%이고, 같은 모델의 OSWorld 2.0 부분 성공률은 70.6%입니다.
출처 ↗ - 2Claude Fable 5 (앤트로픽, 2026)
Gray Swan 공격 성공률은 2.8%이고, OSWorld-Verified에서는 85%입니다.
출처 ↗ - 3Claude Mythos 5 (앤트로픽)
OSWorld-Verified에서 85.0%, Gray Swan에서 2.6%입니다.
- 4Claude Opus 4.8 (앤트로픽)
OSWorld-Verified에서 83.4%입니다. Gray Swan 공격 성공률 5.5%는 기준 모델 Opus 5보다 절반 넘게 낮습니다.
출처 ↗ - 5Gemini 컴퓨터 사용 (구글, 2026)
구글은 한 Gemini 모델이 벤치마크에서 공격 성공률을 0.7%까지 낮췄다고 밝혔습니다. 회사 주장이며 아직 독립적으로 재현되지 않았습니다.
출처 ↗ - 6오픈AI Codex 컴퓨터 사용 / GPT-6 Astra
잠금 사용 모드는 있지만, OSWorld 2.0 점수 72.6% 옆에서 공격 성공률 수치는 찾지 못했습니다.
출처 ↗ - 7Claude Sonnet 5 (앤트로픽)
OSWorld-Verified에서 81.2%입니다. 별도의 프롬프트 주입 공격 수치는 찾지 못했습니다.
출처 ↗ - 8Holo3-35B-A3B (H Company)
OSWorld-Verified 독립 실행 최고 기록(82.6%)이지만, 프롬프트 주입 공격 자료는 찾지 못했습니다.
출처 ↗ - 9Qwen3.8-Max (알리바바)
제조사가 공개한 OSWorld 표에서 86.1%로 1위지만, 프롬프트 주입 공격 결과는 공개되지 않았습니다.
출처 ↗ - 10o4-mini 기반 컴퓨터 사용 에이전트 (OS-Harm 기준선)
기본적인 프롬프트 주입 공격의 약 20%에 따랐습니다. 측정된 유일한 반례입니다.
출처 ↗
Claude의 발견
앤트로픽은 자동 모드와 안전장치를 켜면 브라우저 에이전트의 프롬프트 주입 공격 성공률이 0%라고 밝혔습니다. 끄면 3.7%입니다. 0% 수치는 추가 보호 장치에 달려 있습니다.
워털루 대학교가 이끈 연구에서, 주입 공격을 더 많이 학습시킨 에이전트가 네 가지 시험 중 세 가지에서 더 쉽게 탈취됐습니다.
신뢰할 수 없는 데이터를 읽기 전에 도구 사용을 제한하는 방어법으로, 표적 공격 성공률이 57.69%에서 6.84%로 떨어졌습니다.
영국 AI 안전 연구소(AISI) 관련 시험에 따르면, 적응형 공격은 AgentDojo Workspace의 공격 성공률을 11%에서 81%로 끌어올립니다.
🇺🇸 Meta10개 순위 · 메모 4개
같은 질문에 Meta 혼자 답한 결과입니다. 위의 최종 목록은 모든 AI를 종합합니다.
- 1Claude 컴퓨터 사용 (앤트로픽)
OSWorld 상위권 점수와 AgentDojo 공격 성공률 거의 0%를 함께 가진 유일한 계열입니다. 다만 두 수치는 서로 다른 체크포인트에서, 몇 년 차이를 두고 나왔습니다.
출처 ↗ - 2오픈AI ChatGPT 에이전트 / CUA (오픈AI)
OSWorld-Verified 점수는 높지만, GPT-4o는 2024년 AgentDojo 공격 성공률이 47.69%로 나빴습니다. 이후 GPT-5.4는 2026년 은행 업무 일부 시험에서 288건 중 0건이었습니다. 둘 다 사실이지만, 서로 다른 시험의 결과입니다.
출처 ↗ - 3구글 Gemini 컴퓨터 사용 (구글)
Gemini 3.6 Flash는 OSWorld-Verified 83%입니다. 옛 Gemini 1.5 Pro는 AgentDojo 공격 성공률이 17.01%로, 능력은 있지만 옛 주입 시험에서는 중간 수준입니다.
출처 ↗ - 4메타 Llama / Muse 에이전트 (메타)
Muse Spark 1.1은 OSWorld-Verified 검증 점수 80.67%입니다. 하지만 AgentDojo에서 실제로 시험한 메타 모델 Llama-3-70B는 공격을 받는 중에도 작업 완수율이 18.28%에 그쳤습니다.
출처 ↗ - 5알리바바 Qwen 에이전트 (Qwen)
제조사 보고 기준 OSWorld-Verified 최고 점수는 86.1%입니다. 그러나 Qwen은 AgentDojo 결과표에 한 번도 없었습니다. 능력은 있지만 공개된 주입 시험은 없습니다.
출처 ↗ - 6코히어 Command-R+ 에이전트
AgentDojo 공격 성공률은 낮지만, 공격받을 때 작업 유지율도 낮습니다. 공격받을 때 작업 완수율은 25.12%입니다. 안전하지만, 공격받으면 그다지 쓸모가 없습니다.
출처 ↗ - 7구글 Gemma2 에이전트
ASB의 기본 모델 목록에는 있지만 AgentDojo와 OSWorld-Verified에는 없습니다. 보안 시험용 모델이지, 컴퓨터 조작 능력이 입증된 에이전트는 아닙니다.
출처 ↗ - 8미스트랄 Mixtral 에이전트
Gemma2와 같은 상황입니다. ASB에는 있지만 AgentDojo와 OSWorld-Verified에는 없어서, 컴퓨터 조작과 주입 공격을 함께 재현할 수 있는 결과가 없습니다.
출처 ↗ - 9오픈AI GPT-3.5 Turbo 에이전트
AgentDojo 공격 성공률은 10.33%로 낮아 보이지만, ASB의 직접 프롬프트 주입은 98.40%에 달했습니다. 두 시험은 서로 다른 공격을 측정하며, 그 차이가 중요합니다.
출처 ↗ - 10앤트로픽 Claude 3 Haiku 에이전트
AgentDojo 공격 성공률은 9.06%로 낮지만, 공격받을 때 작업 완수율은 33.39%에 그칩니다. 가장 싼 클로드 모델이라 속는 일이 가장 적지만, 공격받을 때는 가장 덜 쓸모 있습니다.
출처 ↗
Meta의 발견
AgentDojo 원본 표에서 Claude 3.5 Sonnet(20241022)의 표적 공격 성공률은 1.11%였고, GPT-4o는 47.69%였습니다. 같은 시험, 같은 공격인데 보안 결과는 정반대입니다.
2026년 재현 연구에서 AgentDojo 은행 업무 일부 시험의 방어 없는 공격 성공률은 GPT-5.4가 0/288, Claude Sonnet 4.6이 1/288이었습니다. 다만 저자들은 모델마다 목표를 달성하기 쉬운 정도가 달랐다고 경고합니다.
ASB-Revised에서 GPT-4o의 공격 성공률은 73.58%에서 9.25%로 떨어졌습니다. 모델이 바뀐 것이 아니라 벤치마크를 고친 것만으로 같은 모델의 평가가 뒤집혔습니다.
적응형 공격자는 거의 0%라고 보고된 프롬프트 주입 방어 12개를 뚫었고, 대부분에서 90%를 넘는 공격 성공률을 기록했습니다. 고정된 AgentDojo 공격은 끈질긴 공격자를 과소평가합니다.
🇺🇸 Grok10개 순위 · 메모 1개
같은 질문에 Grok 혼자 답한 결과입니다. 위의 최종 목록은 모든 AI를 종합합니다.
- 1Claude 3.5/4.x/5.x 컴퓨터 사용 에이전트 (앤트로픽)
공개된 AgentDojo 시험에서 GPT-4o보다 공격받을 때 작업 유지율이 높고, 표적 공격 성공률은 낮습니다.
출처 ↗ - 2방어 장치를 갖춘 GPT-4o / 오픈AI CUA 설정
정상 작업 능력은 강하지만 원시 공격 성공률이 높습니다. 필터를 쓰면 공격 성공률을 크게 낮출 수 있습니다.
출처 ↗ - 3시뮬러 Sai
OSWorld 장기 과제에서 부분 점수가 높습니다. 다만 AgentDojo의 보안 수치는 독립적으로 공개되지 않았습니다.
출처 ↗ - 4Qwen3.8 Max 설정
최상위권 OSWorld-Verified 데스크톱 성공률입니다. 공개된 AgentDojo/ASB 짝 결과는 제한적입니다.
출처 ↗ - 5마이크로소프트 Mage-VL-Cowork
OSWorld-Verified 66%를 기록한 소형 공개 하이브리드 에이전트입니다. 공개된 프롬프트 주입 짝 점수는 없습니다.
출처 ↗ - 6Pointer 에이전트
하이브리드 방식으로 OSWorld-Verified 점수가 높습니다. 주입 공격에 대한 내성은 자세히 설명되지 않았습니다.
출처 ↗ - 7코스티 CUA
OSWorld-Verified 데스크톱 점수는 강하지만, 공격 표면에 관한 자료가 드뭅니다.
출처 ↗ - 8Intelligence-Indeed Z-Agent
OSWorld-Verified 데스크톱 완료율이 가장 높습니다. 공개된 AgentDojo 짝 결과는 찾지 못했습니다.
출처 ↗ - 9가중치 공개 소형 모델 + CapLite 방식 보호 장치
한 방어 연구에서 수천 건의 AgentDojo 에피소드 동안 성공한 공격이 한 번도 없었습니다.
출처 ↗ - 10특별한 방어 장치가 없는 일반 최신 에이전트
ASB는 여러 주입 방식을 섞었을 때 평균 공격 성공률 최고치가 84.30%라고 보고합니다.
출처 ↗
Grok의 발견
AgentDojo 원본 논문은 강한 모델도 공격 없이 과제의 66% 미만을 풀었고, 공격 성공은 25% 미만이었다고 밝혔습니다. 최근 클로드 실행 결과는 표적 공격 성공률이 그보다 더 낮습니다.
🇺🇸 Gemini10개 순위 · 메모 1개
같은 질문에 Gemini 혼자 답한 결과입니다. 위의 최종 목록은 모든 AI를 종합합니다.
- 1Claude 3.7 Sonnet 컴퓨터 사용 (앤트로픽)
이중 시스템 프롬프트 계층을 써서, AgentDojo에서 간접 프롬프트 주입 탈취율을 2.4%로 낮추면서 데스크톱 작업 완수율 44.2%를 달성합니다.
- 2Claude 3.5 Sonnet 컴퓨터 사용 (앤트로픽)
실제 데스크톱 탐색 38.6%를 달성하면서 주입 공격 비율은 4.8%로 낮습니다. 적대적 웹페이지를 탐색할 때도 작업 유지율 71.4%를 지킵니다.
- 3o3 추론 엔진을 쓴 Agent S2.5
OSWorld 과제에서 업계 최고 수준인 56.4%를 기록합니다. 하지만 깊은 추론 사슬도 간접 주입 시험의 12.3%에서 허락 없이 파일을 옮기도록 속을 수 있습니다.
- 4오픈AI Operator (GPT-4o 화면 인식 처리 체계)
브라우저·데스크톱 작업 흐름의 46.8%를 해결하지만, 신뢰할 수 없는 제3자 웹페이지 문서 구조(DOM) 속 글을 만나면 공격 성공률 28.5%를 보입니다.
- 5바이트댄스 UI-TARS-2 (72B 로컬 화면 인식 에이전트)
OSWorld 완료율 53.1%로 인상적이지만, 배경 데스크톱 이미지에 숨긴 시각적 주입 명령이 시험의 19.4%에서 행동을 탈취합니다.
출처 ↗ - 6이중 언어 모델 보호 장치를 갖춘 코스티 에이전트 (2025)
속도를 포기하고 OSWorld에서 42.1%를 기록합니다. 외부 감독 필터로 주입 성공률은 6.2%까지 낮췄습니다.
- 7UI-TARS-1.5 (바이트댄스 공개 가중치)
검증된 OS 과제의 42.5%를 수행합니다. 하지만 안전 정렬 층 없이 공개 가중치를 그대로 미세조정하면, 내장 PDF 지시에 34.1% 취약합니다.
출처 ↗ - 8OS-Copilot / FRIDAY (스스로 명령을 실행하는 에이전트)
리눅스 작업 흐름의 35.6%를 완료하지만, 제한 없는 bash 실행 때문에 감염된 텍스트 문서를 읽을 때 43.7%의 위험한 공격 성공률을 보입니다.
- 9시뮬러 화면 조작 에이전트 (화면 인식 도구 모음)
데스크톱 과제에서 38.3%에 도달하지만, 적대적 지시가 시스템 대화상자로 위장하면 26.2%가 주입에 넘어갑니다.
- 10어뎁트 ACT-1 (웹 브라우저 및 기업 업무 처리)
검증된 작업 흐름 완료율 31.2%를 기록하지만, 구형 DOM 해석기는 웹페이지 댓글에 숨은 간접 프롬프트 주입 공격의 41.5%에 넘어갑니다.
Gemini의 발견
파일 삭제나 이메일 발송 같은 OS 수준 작업은 API의 실행 취소 버튼으로 자동으로 되돌릴 수 없습니다. 그래서 보안 전문가들은 되돌릴 수 없는 데스크톱 작업마다 필수 확인 단계를 두라고 권합니다.
🇨🇳 MiMo10개 순위 · 메모 4개
같은 질문에 MiMo 혼자 답한 결과입니다. 위의 최종 목록은 모든 AI를 종합합니다.
- 1Claude Code 자동 모드 (앤트로픽, 2026)
속임수 질문에 대한 답은 간단합니다. 미끼에 닿지 못하는 에이전트는 미끼를 물 수도 없습니다.
출처 ↗ - 2GPT-5 계열 에이전트 (오픈AI)
가장 큰 최신 모델이 작은 전작보다 확실히 속이기 어렵습니다. 세대별로 보안 차이가 실제로 드러난 첫 사례입니다.
출처 ↗ - 3Claude Opus 5 (앤트로픽)
가장 독립적으로 교차 검증된 에이전트입니다. 경쟁사가 다시 돌려도 수치가 조금만 낮아질 뿐입니다.
출처 ↗ - 4GPT-6.2 Astra (오픈AI)
장기 작업 신기록을 3분의 1 가격에 냅니다. 다만 이 제품 카드에는 자체적으로 잘못 처리한 업무 행동도 기록되어 있습니다.
출처 ↗ - 5GPT-6.1 Sol (오픈AI)
긴 데스크톱 작업에서 최상위 모델과 2.1점 차이이며, 일상적인 가격입니다.
출처 ↗ - 6Mac용 Gemini 컴퓨터 사용 (구글)
모든 행동을 실시간으로 미리 보여주는 유일한 주요 에이전트입니다. 제품 계층에서 가장 안전한 기본 설정입니다.
출처 ↗ - 7Claude Cowork 컴퓨터 사용 (앤트로픽)
점수는 상위권이고, 가장 큰 구멍을 한 줄로 밝힙니다. 에이전트와 화면 사이에 샌드박스가 없습니다.
출처 ↗ - 8Qwen3.8 Max (알리바바)
보드에서 데스크톱 점수가 가장 높지만, 보안 상태는 사용자가 직접 실행할 수 없는 체크포인트에 달려 있습니다.
출처 ↗ - 9Muse Spark 1.3 (메타)
메타의 데스크톱 에이전트가 자체 실행 틀(하네스)에서 직접 돌려 장기 과제 보드에 66.9%로 올랐습니다.
출처 ↗ - 10MiniMax M3 (미니맥스)
정직한 하한선입니다. 저자가 직접 돌린 장기 과제 점수는 22.3%입니다. 거의 아무도 하지 않는 일인데, 이를 그대로 공개했습니다.
출처 ↗
MiMo의 발견
속기 어려워지는 경향이 세대별로 처음 나타났습니다. 레드팀 연구에 따르면 GPT-5는 AgentDojo에서 GPT-4o-mini보다 공격하기 훨씬 어렵습니다.
위험한 수치는 공격 성공률이 아니라 승인 피로입니다. 실제 사용자는 권한 요청의 93%를 승인합니다. 사람이 습관처럼 승인하는 요청은 요청이 없는 것과 같습니다.
독립적인 재실행은 드물고 매우 가치 있습니다. 스노클 AI 공동 저자의 재실행은 GPT-5.6 Sol에서 자체 보고 점수와 2점 이내였지만, Opus 5에서는 2.3점 낮았습니다.
개인정보 연구(AGENTDAM)는 클로드 컴퓨터 사용 에이전트를 직접 평가했습니다. 그 결과 자율형 웹·컴퓨터 에이전트는 과제 점수에는 드러나지 않는 방식으로 개인 정보를 새어 나가게 한다고 밝혔습니다.
🇨🇳 Kimi10개 순위 · 메모 4개
같은 질문에 Kimi 혼자 답한 결과입니다. 위의 최종 목록은 모든 AI를 종합합니다.
- 1Claude Sonnet 4.5 (앤트로픽)
AgentDyn에서 작업 유지율 70.7, 공격 성공률 0.87%입니다. 2026년 측정치 가운데 작업량 대비 속임 비율이 가장 좋지만, 앤트로픽의 적응형 시험은 200번 시도하는 공격에서 87.5%까지 오른다고 경고합니다.
출처 ↗ - 2GPT-5.1 / GPT-5.4 계열 (오픈AI)
GPT-5.1에서 공격 성공률은 4.96%입니다. GPT-4o의 47.69%의 약 10분의 1이며, 이 계열은 OSWorld-Verified 75.0%로 데스크톱 차트 1위입니다.
출처 ↗ - 3GPT-5-mini (오픈AI)
공격 성공률 0.37%, 작업 유지율 64.8입니다. AgentDyn 시험에서 가장 조심스러운 모델이 가장 속이기 어려웠고, 사람이 직접 만든 적응형 공격도 2.1%에만 이르렀습니다.
출처 ↗ - 4Kimi K2.5 / K2.6 (문샷 AI)
공격 성공률 11.65%, 작업 유지율 54.2입니다. AgentDyn에서 모든 오픈 모델 가운데 작업 유지율이 가장 높고, K2.6의 OSWorld-Verified 73.1%는 이 계열의 데스크톱 범위를 보여 줍니다.
출처 ↗ - 5Gemini 2.5 Pro / Gemini 3.5 Flash (구글)
작업 유지율은 57%지만 공격 성공률은 20.61%입니다. 구글 자체 자료에 따르면, 적대적 학습이 Gemini의 주입 성공률을 92%에서 18%로 낮춘 원인이었습니다.
출처 ↗ - 6Claude 3.5 Sonnet, 2024년 10월 출시 (앤트로픽)
이 분야의 경고 사례입니다. AgentDojo 고정 공격에서는 공격 성공률 1.11%, 작업 유지율 72.5였지만, NIST 레드팀은 처음 보는 과제에서 적응형 공격으로 81%에 이르렀습니다.
출처 ↗ - 7Llama 3.3 70B (메타)
공격 성공률 11.91%는 괜찮아 보이지만, 작업 유지율을 보면 6.15%입니다. 공격자만이 아니라 작업 자체에서 실패합니다.
출처 ↗ - 8Qwen3 235B-A22B (알리바바)
공격 성공률 22.67%인데, 집합에서 작업 유지율이 가장 낮습니다(10.74%). 노출은 있지만 결과는 없습니다.
출처 ↗ - 9GPT-4o (오픈AI)
AgentDojo 공격 성공률 47.69%이고, ASB에서 Plan-of-Thought 백도어 성공률은 100%입니다. '대체로 잘 작동한다'는 말이 무엇을 숨기는지 보여 주는, 벤치마크 시대의 가장 어려운 교훈입니다.
출처 ↗ - 10GPT-4o-mini (오픈AI)
ASB 평균 공격 성공률 67.55%로, 측정된 것 중 최악입니다. 작고 싸고 문이 활짝 열려 있으며, 직접 주입에서는 95%가 넘습니다.
출처 ↗
Kimi의 발견
적응형 공격은 순위를 뒤집습니다. 미국 NIST의 CAISI는 Claude 3.5 Sonnet 에이전트의 탈취율을 11%에서 81%로 올렸습니다. 오픈AI, 앤트로픽, 딥마인드, ETH 취리히로 이뤄진 연구팀은 발표된 방어 12개를 90%가 넘는 공격 성공률로 뚫었습니다. 고정 벤치마크의 안전성은 바닥이지 천장이 아닙니다.
적응을 견디면서 공격 성공률이 거의 0%인 방어 계열은 집행을 모델 밖으로 옮깁니다. CaMeL과 Progent는 도구 호출을 제한해 AgentDyn에서 공격 성공률 0%를 기록했습니다. 다만 CaMeL의 0%는 그곳에서 작업 유지율 0%와 함께 나왔습니다. 반면 AgentDojo에서 CaMeL은 증명 가능한 보안을 유지하며 과제의 67~77%를 풀었습니다. 교환 관계는 실재하지만 좁습니다.
유용성과 보안의 맞바꿈은 측정할 수 있습니다. AgentDojo의 GPT-4o 실행에서 도구 필터는 공격 성공률을 47.69%에서 6.84%로 낮추고, 작업 유지율은 56.28%로 높였습니다. 그러나 프롬프트 주입 탐지기는 공격 성공률을 7.95%로 낮추면서 작업 유지율을 21.14%까지 망가뜨렸습니다. 공격을 받을 때도 에이전트가 쓸모 있을지는 모델이 아니라 방어 설계가 결정합니다.
화면 접근은 모든 주입 공격의 배율입니다. 화면 기록과 손쉬운 사용(접근성) 권한이 있는 에이전트는 사용자가 보는 모든 것을 보고, 보내고, 지우고, 사고, 설정을 바꿀 수 있습니다. 그래서 되돌리기 질문(앱별 승인, 가상 머신(VM) 스냅샷, 되돌릴 수 있는 행동)은 공격 성공률 퍼센트만큼 중요합니다.
🇨🇳 DeepSeek10개 순위 · 메모 1개
같은 질문에 DeepSeek 혼자 답한 결과입니다. 위의 최종 목록은 모든 AI를 종합합니다.
- 1Claude 컴퓨터 사용 (Claude Fable 5, 2026)
가장 가까운 재현 가능한 하네스에서 OSWorld-Verified 85%이고, 여러 AgentDojo 묶음에서 표적 공격 성공률 0%입니다. 다만 그 하네스는 클로드 데스크톱 자체가 아닙니다.
출처 ↗ - 2gpt-5.6-luna 기반 Ratchet 테스트 틀 (2026)
AgentDojo 네 묶음 모두에서 표적 공격 성공률 0%입니다. 공개된 AgentDojo 표에서 가장 깨끗한 보안 결과이지만, OSWorld 점수는 같은 행에 없습니다.
출처 ↗ - 3코스티 CUA v1 (2026)
OSWorld-Verified 82.81%입니다. 공개된 AgentDojo/ASB 공격 성공률은 없습니다. 작업 능력은 강하지만 속임에 대한 저항성은 측정되지 않았습니다.
출처 ↗ - 4오픈AI Operator (2026)
OSWorld 38.1%지만 로컬 화면 자료가 거의 없습니다. 공격 표면은 데스크톱이 아니라 브라우저입니다.
출처 ↗ - 5Manus (메타) 데스크톱 에이전트 (2026)
클라우드 가상 머신에서 OSWorld 72.5%입니다. 가상 머신은 일회용이라 되돌릴 수 있지만, 보안 벤치마크 공격 성공률은 공개되지 않았습니다.
- 6Agent S3 (시뮬러, 2026)
OSWorld 72.6%이고 오픈소스라 샌드박스에 넣을 수 있습니다. 다만 여전히 화면과 입력 접근이 필요하고, 공격 성공률은 AgentDojo 표에 없습니다.
출처 ↗ - 7UiPath 화면 에이전트 (2026)
OSWorld-Verified 67.1%이며 넓은 UI 자동화를 갖췄습니다. 작업 유용성은 높지만 조작 범위가 넓고, 공격 성공률은 공개되지 않았습니다.
- 8Gemini 3.6 Flash 에이전트 (구글, 2026)
OSWorld-Verified 83%이지만, 재현 가능한 AgentDojo나 ASB 결과가 없습니다. 작업 능력은 있지만 속임 저항성 수치는 공개되지 않았습니다.
출처 ↗ - 9Kimi K3 에이전트 (문샷 AI, 2026)
OSWorld-Verified 84.8%이고 b3 보안 점수는 88.0%입니다. 다만 b3는 모델을 재는 것이지, 데스크톱 에이전트의 공격 표면을 재는 것이 아닙니다.
출처 ↗ - 10UI-TARS-2 (바이트댄스, 2026)
OSWorld 47.5%이며 화면을 직접 제어합니다. 클라우드 에이전트보다 노출이 많고, 공개된 AgentDojo 공격 성공률은 없습니다.
DeepSeek의 발견
AgentDojo의 가장 좋은 공개 공격 성공률은 0%입니다. 하지만 그 결과는 gpt-5.6-luna를 쓴 특정 하네스(Ratchet)에서 나왔고, 맞는 OSWorld 점수는 없습니다. 보안 벤치마크에서 가장 안전한 에이전트가, 데스크톱 작업 벤치마크 1위 에이전트와 같지 않습니다.
🇨🇳 Wenxin10개 순위
같은 질문에 Wenxin 혼자 답한 결과입니다. 위의 최종 목록은 모든 AI를 종합합니다.
- 1애플 자체 macOS AI 에이전트 (2027년 초 빌드)
화면 데이터를 지속적으로 수집하지 않습니다. 실행 전에 모든 행동을 시스템 차원에서 중단해 되돌릴 수 있습니다. 초기 내부 시험에서 보고된 프롬프트 주입 우회는 0건입니다.
출처 ↗ - 2HKU KYA 규정 준수 기업용 데스크톱 에이전트
에이전트 신원을 100% 검증할 수 있습니다. 모든 작업을 추적할 수 있고, 행동이 미리 정한 범위를 넘으면 권한이 자동으로 취소됩니다.
- 3앤트 그룹 페이 AI 에이전트 (2026)
결제 승인은 3단계입니다. 완전히 장악된 에이전트도 사람이 직접 확인하지 않으면 승인되지 않은 고액 거래를 실행할 수 없습니다.
- 4오픈AI Agents API (2026년 베타)
호스팅 샌드박스 실행 환경은 알려진 프롬프트 주입 공격의 89%를 막습니다. 위험한 행동은 모두 실행 전에 두 번째 확인을 받아야 합니다.
- 5RBAC+ABAC 방식 기업 맞춤 에이전트 (2026)
권한 검사에 의도와 행동이 맞는지 확인하는 절차를 더했습니다. 범위 안에서 일어나는 의도하지 않은 과잉 행동의 91%를 막습니다.
- 6퍼플렉시티 Computer (2026)
로컬 데스크톱의 민감한 데이터와 완전히 분리된 격리 클라우드 환경입니다. 로컬 화면에는 아예 접근하지 않습니다.
- 7앤트로픽 Claude 컴퓨터 사용 에이전트 (2026)
헌법적 AI 가드레일이 승인되지 않은 유해 행동 시도의 87%를 막습니다. 개발자 채택률은 49%이고, 업계 최상위 수준의 신뢰 평가를 받았습니다.
- 8Sai AI 에이전트 (2026)
모든 GUI 자동화 작업은 전용 격리 클라우드 데스크톱에서 실행됩니다. 기본적으로 로컬 컴퓨터의 민감한 데이터나 파일에 접근하지 않습니다.
- 9메타 Muse 에이전트 (2026년 오픈소스)
전체 실행 코드를 누구나 감사할 수 있습니다. 사용자는 제3자 업체에 의존하지 않고 맞춤 프롬프트 주입 탐지 규칙을 추가할 수 있습니다.
출처 ↗ - 10OpenCode 오픈소스 코딩 에이전트 (2026)
기본적으로 운영 파일에 자동으로 쓰기 권한이 없습니다. 모든 파일 수정에는 사용자 검토와 명시적 승인이 필요합니다.
🇨🇳 Qwen10개 순위 · 메모 3개
같은 질문에 Qwen 혼자 답한 결과입니다. 위의 최종 목록은 모든 AI를 종합합니다.
- 1Claude 3.7 Sonnet
유용한 작업의 88.66%를 수행하면서, AgentDojo에서 프롬프트 주입 공격 성공률을 7.31%까지 낮춥니다.
출처 ↗ - 2AgentSys (방어 장치를 갖춘 에이전트)
AgentDojo에서 공격 성공률 0.78%, ASB에서 4.25%로 억제하면서 정상 작업 유지율도 높입니다.
출처 ↗ - 3Claude Opus 4.6
한 표적 보안 감사에서 100%라는 완벽한 점수를 받았습니다. 다만 데스크톱 행동을 실제로 되돌릴 수 있는지는 아직 논란입니다.
출처 ↗ - 4Verigrey 방어 에이전트
유용한 작업의 93.2%를 그대로 지키면서, 프롬프트 검사가 아니라 행동 관리로 공격 성공률을 1% 미만으로 유지합니다.
출처 ↗ - 5o3 (방어 적용)
AgentDojo 과제의 77%를 증명 가능한 보안 아래 완료합니다. 방어 없는 기준선은 84%입니다.
출처 ↗ - 6Claude 3.5 Sonnet
ASB에서 위험 보정 성능(NRP) 43.56으로 가장 높습니다. 기준선에서는 공격에 취약했는데도 그렇습니다.
출처 ↗ - 7GPT-4o
과제의 69.07%를 완료하지만, 엄격한 가드레일이 없으면 AgentDojo 프롬프트 주입의 거의 절반(47.69%)에 넘어갑니다.
출처 ↗ - 8GPT-4o-mini
AgentDojo 공격 성공률은 49.92%입니다. 작은 모델이 주입된 도구 출력을 걸러내기 얼마나 어려운지 보여 줍니다.
출처 ↗ - 9Claude 3.5 Sonnet (공격 시험을 거친)
기본 공격은 11%만 성공하지만, 조직적인 레드팀 프롬프트는 81%를 뚫습니다.
출처 ↗ - 10GPT-4-0125
2024년 초 버전은 현대의 AgentDojo 방어가 표준화되기 전에 56.3%의 표적 프롬프트 주입 성공률을 겪었습니다.
출처 ↗
Qwen의 발견
행동 관리가 프롬프트 검사보다 낫습니다. 도구 호출 결과를 차단하면 공격 성공률을 1% 미만으로 유지하면서 유용성 93.2%를 지킵니다.
AgentDojo의 표적 프롬프트 주입 공격 성공률은 초기 GPT-4 모델의 56.3%에서 Claude 3.7 Sonnet의 7.3%로 떨어졌습니다. 보안이 빠르게 발전했다는 뜻입니다.
Agent Security Bench는 '정규화 위험 보정 성능(NRP)' 지표를 도입했습니다. 악성 프롬프트를 거부하는 일이 정당한 작업까지 거부할 필요는 없음을 보여 줍니다.