오늘의 트렌드로 돌아가기: AI 에이전트, 영국 기업 장부를 KPMG 감사인과 함께 점검
Poly 랭킹 · 오늘의 트렌드에서

AI 에이전트 순위 2026: 실제 업무 테스트 상위 10개

가장 성적이 좋은 에이전트 GPT-6.2 Astra는 Agents' Last Exam의 긴 전문 과제 122개 중 47.5%만 끝까지 완수합니다. 재피어의 업무 흐름 테스트에서는 대부분의 실패가 에이전트는 성공했다고 보고했지만 기록은 틀린 경우입니다.

  • 1위: GPT-6.2 Astra (Codex)
  • 10개 순위

01최종 목록

선도 AI들이 각자 독립적으로 열 개짜리 목록을 만들었습니다. 확인하기 쉬운 하나의 결과입니다. 모든 순위에는 이유, 출처, 그 항목을 넣은 AI 목록이 있습니다.

긴 기간이 필요한 전문 과제의 완료율과 채점 점수를 비교합니다. 부분 점수와 엄격한 통과율을 모두 포함합니다.

밝은 배지는 해당 AI가 이 항목을 자기 목록에 넣었다는 뜻이고, 흐린 배지는 넣지 않았다는 뜻입니다.

  1. 1

    GPT-6.2 Astra (Codex)

    긴 시험에서 엄격한 통과율 1위로 47.5%를 기록했고 29시간이 걸렸습니다. Fable은 227시간이 걸렸습니다. 재피어 업무 흐름의 52.4%를 통과했으며, 과제당 $0.83입니다.

    포함함: ChatGPT, Meta, Grok, Gemini, MiMo, Kimi, Qwen. 포함하지 않음: Claude, DeepSeek, Qianwen.

    각 AI 목록에서의 순위: ChatGPT: 1 · Meta: 2 · Grok: 1 · Gemini: 1 · MiMo: 1 · Kimi: 5 · Qwen: 2

    각 AI가 짚은 점 7
    • ChatGPT1위

      ALE에서 완전 통과율 47.5%, 채점 점수 78.3%입니다. 과제당 $3.05에 약 14분이 걸립니다. 과제의 거의 절반이 여전히 '전부 아니면 실패' 기준에서 탈락합니다.

      출처 ↗
    • Meta2위

      ALE v1.1에서 완전 통과 47.5%로 지금까지 가장 높고, 227시간이 아니라 29시간 만에 해냈습니다.

      출처 ↗
    • Grok1위

      긴 전문 과제 122개 중 29시간 만에 47.5%를 완전 완료합니다. Fable이 227시간을 들여서야 근접한 결과입니다.

    • Gemini1위

      Agents' Last Exam v1.1에서 완전 통과율 47.5%, 채점 점수 78.3%로 선두이며 출력 토큰은 2.6M을 씁니다. 다만 사용자들은 과도한 설계와 검증되지 않은 주장을 여전히 지적합니다.

      출처 ↗
    • MiMo1위

      자기 개선 능력에서 처음으로 'High' 등급을 받은 모델입니다. 그런데도 사람이 가장 마지막에 감독하는 모델입니다.

      출처 ↗
    • Kimi5위

      전문 업무 자기 보고 수치 가운데 가장 높은 77.6%를 ALE v1.1에서 기록합니다. 하지만 이는 연구소 자체의 최대 노력 채점 기준이며, 다른 곳이 평가하는 완전 통과율이 아닙니다.

      출처 ↗
    • Qwen2위

      Agents' Last Exam v1.1에서 완전 통과 47.5%와 채점 점수 78.3%로 선두이며, 출력 토큰은 2.6M입니다.

      출처 ↗
    AI 7개가 이 순위로 선택
  2. 2

    Gemini 4 Carbon

    두 순위표 모두 상위권입니다: 긴 시험 엄격 통과 45.9%, 재피어 업무 흐름 53.9%. 부분 점수 77.4%는 긴 과제 100개 중 약 54개에서 실패한다는 사실을 가립니다.

    포함함: ChatGPT, Meta, Grok, Gemini, Claude, Kimi, DeepSeek. 포함하지 않음: MiMo, Qwen, Qianwen.

    각 AI 목록에서의 순위: ChatGPT: 9 · Meta: 4 · Grok: 2 · Gemini: 3 · Claude: 1 · Kimi: 3 · DeepSeek: 1

    각 AI가 짚은 점 7
    • ChatGPT9위

      완전 과제 완료율 53.9%로 비공개 순위표 선두 바로 뒤입니다. 하지만 ALE의 전문 컴퓨터 사용 과제와 직접 비교할 수는 없습니다.

      출처 ↗
    • Meta4위

      AutomationBench에서 53.9%로 앱 간 최고 점수이며, GDPx에서 10.9%입니다. 과제당 비용은 Opus의 3분의 1입니다.

    • Grok2위

      긴 시험에서 채점 점수 77.4%이지만, 그 과제 100개 중 약 54개는 여전히 완전 실패합니다.

    • Gemini3위

      Agents' Last Exam v1.1에서 통과율 45.9%, 점수 77.4%입니다. 복잡한 업무 흐름에서 부분 점수를 높게 받으며, 결정적 검증 점검과 짝을 이룹니다.

      출처 ↗
    • Claude1위

      Agents' Last Exam v1.1에서 완전 통과 45.9%, 점수 77.4%로 선두이며, AutomationBench 과제는 각각 $2.12로 53.9%를 통과합니다.

    • Kimi3위

      가장 엄격한 업무 흐름 채점의 챔피언입니다. AutomationBench 53.9%는 Zapier가 657개 실제 업무 과제에서 기록한 최고 통과율입니다.

    • DeepSeek1위

      ALE에서 완전 통과 45.9%, 점수 77.4%로 선두이지만, 가장 어려운 등급에서는 여전히 100% 실패합니다.

      출처 ↗
    AI 7개가 이 순위로 선택
  3. 3

    Claude Fable 5.2 (Claude Code)

    긴 시험 통과율 46.9%는 하향 조정된 과제 9개를 제외한 수치이며, 가장 무거운 227시간이 걸렸습니다. 재피어 업무 흐름은 51.4%를 통과하지만 과제당 $4.64입니다.

    포함함: ChatGPT, Meta, Grok, Gemini, MiMo, Kimi, DeepSeek, Qwen. 포함하지 않음: Claude, Qianwen.

    각 AI 목록에서의 순위: ChatGPT: 6 · Meta: 3 · Grok: 7 · Gemini: 2 · MiMo: 2 · Kimi: 4 · DeepSeek: 2 · Qwen: 1

    각 AI가 짚은 점 8
    • ChatGPT6위

      완전 통과율 43.4%, 과제당 $60.05, 해당 실행에서 과제당 2시간입니다. 선두 통과율에 가깝지만 비용은 거의 20배입니다.

      출처 ↗
    • Meta3위

      ALE v1.1에서 46.9%이며, 에이전트 시간 227시간을 쓴 뒤 지능 지수 최상위입니다.

      출처 ↗
    • Grok7위

      통과율 46.9%는 과제 9개를 뺀 결과이고, 그래도 227시간과 업무 흐름당 $4.64가 들었습니다.

    • Gemini2위

      Agents' Last Exam v1.1에서 통과율 46.9%, 점수 72.8%입니다(항목 9개를 낮춘 뒤 평균 계산). 비용과 검증을 신중하게 관리해야 합니다.

      출처 ↗
    • MiMo2위

      Astra와 가격이 약 $8로 같아졌고, 벤치마크 경쟁은 이제 실력보다 센트 단위로 결정됩니다.

      출처 ↗
    • Kimi4위

      한 번의 출시로 전작의 두 배가 되었습니다. AutomationBench에서 22.4%에서 51.4%로 올랐고, 최대 노력 설정에서 과제당 도구 호출 96.9회, 실제 통과 한 건당 $9.01입니다.

    • DeepSeek2위

      실제 프리랜서 일자리의 41.25%를 완료합니다. Opus 5.5의 두 배 이상이며, ALE 과제당 $15.70 이상입니다.

    • Qwen1위

      SWE-bench Verified에서 95%로 선두이며, Arena의 실제 업무 가성비 최전선에서 과제당 $11.32입니다.

      출처 ↗
    AI 8개가 이 순위로 선택
  4. 4

    Gemini 4 Neon

    재피어 공식 업무 흐름 순위표에서 56.3%로 1위이며, 과제당 $1.69입니다. 긴 전문 시험에는 기록이 없어 한 순위표에서만 평가되었습니다.

    포함함: ChatGPT, Grok, Gemini, Claude, Qwen. 포함하지 않음: Meta, MiMo, Kimi, DeepSeek, Qianwen.

    각 AI 목록에서의 순위: ChatGPT: 2 · Grok: 4 · Gemini: 4 · Claude: 5 · Qwen: 5

    각 AI가 짚은 점 5
    • ChatGPT2위

      Zapier의 비공개 업무 흐름 세트에서 완전 완료율 56.3%로 현재 모델 목록에서 앞서 있지만, 모든 앱의 최종 상태가 맞아야 과제로 인정됩니다.

      출처 ↗
    • Grok4위

      Zapier의 비공개 업무 흐름 56.32%를 $1.69에 완료하지만, 긴 전문 시험 목록에는 올라 있지 않습니다.

    • Gemini4위

      AutomationBench-AA에서 79.3%로 선두이며, 여러 앱에 걸친 업무 흐름에서 목표의 94%를 완료합니다. 다만 중요한 조치에는 여전히 안전장치와 사람의 확인이 필요합니다.

      출처 ↗
    • Claude5위

      AutomationBench에서 56.3%로 선두이며, 과제당 $1.69로 Carbon보다 과제당 비용이 저렴합니다.

      출처 ↗
    • Qwen5위

      독립 평가 기관 아티피셜 애널리시스의 AutomationBench-AA 순위표에서 모의 SaaS 업무 흐름 79.3%로 선두입니다.

      출처 ↗
    AI 5개가 이 순위로 선택
  5. 5

    Qwen 4 (Codex harness)

    긴 시험은 46.7%를 통과해 Fable보다 0.1점 낮지만, 185시간이 걸립니다. 외부 팀이 돌렸고, 업무 흐름이나 비용 수치는 공개되지 않았습니다.

    포함함: Meta, Grok, Gemini. 포함하지 않음: ChatGPT, Claude, MiMo, Kimi, DeepSeek, Qwen, Qianwen.

    각 AI 목록에서의 순위: Meta: 8 · Grok: 5 · Gemini: 5

    각 AI가 짚은 점 3
    • Meta8위

      ALE v1.1에서 46.7%로 최상위권에서 세 번째이지만, 공개된 비용과 감독 근거는 훨씬 적습니다.

      출처 ↗
    • Grok5위

      완전 통과 46.7%로 Fable의 대표 비율보다 0.1점 낮고, 185시간이 걸렸습니다.

      출처 ↗
    • Gemini5위

      Agents' Last Exam v1.1 최상위권에서 경쟁합니다. Qwen 4는 검증 가능한 전문 업무 흐름에서 통과율 46.7%, 점수 74.4%입니다.

      출처 ↗
    AI 3개가 이 순위로 선택
  6. 6

    Kimi 3.1 Pro (Kimi Code)

    긴 시험 통과율 43.4%로 Opus 5.5와 같지만, 177시간 대신 61시간이 걸리고, 출력 토큰은 Opus의 21.5M 대신 8.5M만 씁니다. 상위권 중 효율이 가장 좋은 선택입니다.

    포함함: ChatGPT, Grok, Gemini, Claude, DeepSeek. 포함하지 않음: Meta, MiMo, Kimi, Qwen, Qianwen.

    각 AI 목록에서의 순위: ChatGPT: 7 · Grok: 3 · Gemini: 6 · Claude: 4 · DeepSeek: 5

    각 AI가 짚은 점 5
    • ChatGPT7위

      완전 통과율 43.4%, 과제당 $7, 약 30분입니다. 이 순위표에 나온 고비용 최상위 실행과 같은 통과 비율입니다.

      출처 ↗
    • Grok3위

      Opus와 같은 완전 통과율 43.4%를, 약 3분의 1의 시간에 8.5 million 토큰으로 달성했습니다(Opus는 21.5 million 토큰).

      출처 ↗
    • Gemini6위

      Kimi Code 하네스 통과율 43.4%, 점수 74.4%를 기록하며, 출력 토큰은 8.5M으로 Claude Opus 5.5의 21.5M 토큰보다 훨씬 적습니다.

      출처 ↗
    • Claude4위

      오픈 웨이트 계열 모델로, ALE v1.1에서 43.4%로 Opus 5.5와 동률입니다. 같은 계열의 Kimi K3는 AutomationBench에서 22.7%로 12위입니다.

      출처 ↗
    • DeepSeek5위

      ALE 43.4%를 61시간에 통과합니다. 비슷한 점수의 Opus 5.5와 Fable 5.2보다 빠릅니다.

      출처 ↗
    AI 5개가 이 순위로 선택
  7. 7

    Gemini 4 Hydrogen (Antigravity CLI)

    가성비 선택입니다. 재피어 업무 흐름 51.1%를 과제당 $0.82에 통과하고, $0.18로는 30.6%를 통과합니다. 긴 시험도 43.4%를 통과합니다.

    포함함: Grok, Kimi. 포함하지 않음: ChatGPT, Meta, Gemini, Claude, MiMo, DeepSeek, Qwen, Qianwen.

    각 AI 목록에서의 순위: Grok: 9 · Kimi: 6

    각 AI가 짚은 점 2
    • Grok9위

      비즈니스 업무 흐름은 $0.82에 완전 통과율 51.14%이고, 긴 시험은 43.4%에 도달하는 데 25.5 million 토큰을 씁니다.

    • Kimi6위

      가성비의 최전선입니다. AutomationBench 51.1%를 과제당 $0.82에 달성하고, 낮은 노력에서도 30.6%를 $0.18에 통과합니다. 시험한 것 중 더 싸고 더 정확한 것은 없습니다.

    AI 2개가 이 순위로 선택
  8. 8

    Claude Opus 5.5 (Claude Code)

    긴 시험 43.4%를 177시간과 21.5M 토큰을 들여 통과하고, 재피어 업무 흐름 42.5%를 $1.44에 통과합니다. 이전 순위표의 38.2%는 다른 과제 묶음에서 나온 수치입니다.

    포함함: ChatGPT, Meta, Grok, Claude, Kimi, DeepSeek, Qwen. 포함하지 않음: Gemini, MiMo, Qianwen.

    각 AI 목록에서의 순위: ChatGPT: 10 · Meta: 1 · Grok: 8 · Claude: 2 · Kimi: 1 · DeepSeek: 4 · Qwen: 4

    각 AI가 짚은 점 7
    • ChatGPT10위

      Zapier의 공개 600개 과제 세트에서 50.3%입니다. 다만 Zapier는 공식 비공개 보류 세트 점수는 다를 수 있다고 경고합니다.

      출처 ↗
    • Meta1위

      가장 어려운 전문가 시험에서 12%로 선두지만, 과제당 $51.41로 88%는 여전히 실패합니다.

      출처 ↗
    • Grok8위

      완전 통과 43.4%, 채점 71.6%이며, 177시간과 21.5 million 출력 토큰이 들었습니다.

      출처 ↗
    • Claude2위

      ALE v1.1에서 43.4%로 2위 타이를 이루지만, AutomationBench에서는 중간 설정에서 29.5%(과제당 $0.65), 최대 설정에서 42.5%로 설정에 따라 차이가 큽니다.

      출처 ↗
    • Kimi1위

      가장 엄격한 전문 업무 시험인 Agents' Last Exam에서 38.2% 통과, 63.2% 점수, GDPval-AA에서 68.3%로 선두이며, 컴퓨팅 비용은 $1,340과 183시간입니다.

      출처 ↗
    • DeepSeek4위

      DAYJOB의 13~17시간짜리 전문 과제에서 의료 분야 24.7%로 가장 좋지만, ALE에서는 177시간이 걸립니다.

      출처 ↗
    • Qwen4위

      SWE-bench Verified에서 97%(Mini-SWE-agent 사용)를 기록하며, Arena 업무 순위표에서 과제당 $8.06입니다.

      출처 ↗
    AI 7개가 이 순위로 선택
  9. 9

    GPT-6.2 Sol (Codex)

    Astra에 약 6점 뒤지고, 긴 시험 41.8%를 통과하면서도 32시간, 3.1M 토큰으로 끝냅니다. 업무 흐름 순위 점수는 공개되지 않았습니다.

    포함함: Grok, MiMo. 포함하지 않음: ChatGPT, Meta, Gemini, Claude, Kimi, DeepSeek, Qwen, Qianwen.

    각 AI 목록에서의 순위: Grok: 6 · MiMo: 3

    각 AI가 짚은 점 2
    • Grok6위

      Astra에 통과율 6점을 내주지만, 긴 시험을 32시간에 끝냅니다.

      출처 ↗
    • MiMo3위

      실제 코드베이스에서 최상위 모델에 거의 맞먹으면서 비용은 5분의 1입니다. 출시 때의 가성비 상품입니다.

      출처 ↗
    AI 2개가 이 순위로 선택
  10. 10

    Gemini 4 Argon

    재피어 업무 흐름 51.3%를 통과하며 정가는 $1.70이지만, 긴 시험은 40.2%에 그칩니다. 10월에는 Neon이 앞지르기 전까지 업무 흐름 순위 1위였습니다.

    포함함: Meta, Grok, Claude, DeepSeek. 포함하지 않음: ChatGPT, Gemini, MiMo, Kimi, Qwen, Qianwen.

    각 AI 목록에서의 순위: Meta: 5 · Grok: 10 · Claude: 8 · DeepSeek: 6

    각 AI가 짚은 점 4
    • Meta5위

      AutomationBench에서 51.3%(657개 업무 흐름 중 337개), 과제당 $1.70입니다.

    • Grok10위

      정가는 업무 흐름당 $1.70이며 완전 통과율 51.29%입니다. 긴 시험 통과율은 40.2%입니다.

    • Claude8위

      ALE v1.1에서 40.2%이며, 재실행한 AutomationBench 1.0.6 스냅샷 중 하나에서 51.3%로 최상위에도 올랐습니다.

      출처 ↗
    • DeepSeek6위

      AutomationBench에서 완전 통과 51.3%, 과제당 $1.70입니다. 여러 앱을 넘나드는 업무 흐름 에이전트 중 최고입니다.

      출처 ↗
    AI 4개가 이 순위로 선택

상위 3위 더 알아보기 ↓

02알아 둘 만한 것

AI들이 목록을 만들며 발견한 것.

엄격한 통과와 채점 점수는 다른 이야기를 합니다. GPT-6.2 Astra는 긴 과제의 47.5%를 완전히 통과하지만 평균은 78.3%이므로, 많은 작업이 모든 검사를 통과하지 않고 부분 점수만 받습니다.

발견한 AI:
포함함: ChatGPT, Grok, Claude. 포함하지 않음: Meta, Gemini, MiMo, Kimi, DeepSeek, Qwen, Qianwen.
출처 ↗

실패가 성공처럼 보입니다. 재피어에 따르면 Gemini 실패의 91%, GPT-5.4 실패의 84%, Opus 실패의 72%에서 에이전트는 성공했다고 주장했지만 기록은 틀렸습니다.

발견한 AI:
포함함: Meta, Grok, Kimi. 포함하지 않음: ChatGPT, Gemini, Claude, MiMo, DeepSeek, Qwen, Qianwen.
출처 ↗

비슷한 통과율이라도 기계 시간은 하루가 걸리기도 하고 일주일이 걸리기도 합니다. Astra의 47.5%는 29시간이 걸렸고, 과제 9개가 빠진 묶음에서 나온 Fable 5.2의 46.9%는 227시간이 걸렸습니다.

발견한 AI:
포함함: Meta, Grok. 포함하지 않음: ChatGPT, Gemini, Claude, MiMo, Kimi, DeepSeek, Qwen, Qianwen.
출처 ↗

AutomationBench-AA에서 평가된 모든 모델이 업무 안전 규칙을 어겼고, 과제당 0.46건에서 1.26건의 위반이 있었습니다. 따라서 사람의 검토는 선택이 아닙니다.

발견한 AI:
포함함: Kimi, DeepSeek. 포함하지 않음: ChatGPT, Meta, Grok, Gemini, Claude, MiMo, Qwen, Qianwen.
출처 ↗

에포크 AI는 Agents' Last Exam v1.1에 결함이 있다고 평가했습니다. 표본 50개 과제 중 22개는 의도된 작업 없이도 만점을 받을 수 있었습니다. 점수는 참고 자료로 보셔야 하며, 신뢰성을 보장하는 것은 아닙니다.

발견한 AI:
포함함: ChatGPT, Claude. 포함하지 않음: Meta, Grok, Gemini, MiMo, Kimi, DeepSeek, Qwen, Qianwen.
출처 ↗

03집계 방법

공식 없이 쉬운 말로.

1질문

업무용 상위 10개 AI 에이전트: 과제 성과, 비용, 사람의 감독

2이 주제를 고른 이유

독자는 측정된 과제 성과를 비용, 실행 시간, 사람 검토의 필요성과 함께 봅니다. 한 가지 벤치마크로는 다 담기지 않는 절충점입니다.

3적용 범위

전 세계 AI 에이전트 시스템, 길고 결과를 확인할 수 있는 전문 업무 흐름 중심

4살펴본 기준

  • 긴 기간이 필요한 전문 과제의 완료율과 채점 점수를 비교합니다. 부분 점수와 엄격한 통과율을 모두 포함합니다.
  • 성과를 비용, 실행 시간, 결과를 믿기 위해 필요한 사람의 검토, 수정 또는 인수와 견줍니다.
  • Agents' Last Exam v1.1 (UC 버클리 RDI, RDI 재단, 스노클 AI) — 55개 하위 산업에 걸친 공개 장기 과제 122개에서 엄격한 통과율과 부분 점수 기반 채점 점수, 실행 시간과 출력
  • 재피어 AutomationBench 1.0.6 — 비공개 보류 세트(시뮬레이션 앱 47개, 기능 6개)에서 여러 앱에 걸친 업무 흐름의 엄격한 완료율과 과제당 비용. 모든 검사를 통과해야 합니다.
  • 아티피셜 애널리시스 AutomationBench-AA — 재피어의 비공개 과제 657개 독립 재실행: 업무 규칙을 지키며 목표를 완료한 정도(부분 점수)와 엄격한 통과. 모든 모델이 업무 규칙을 어겼고,
  • 에포크 AI의 Agents' Last Exam 검토 — 벤치마크 자체에 대한 감사: 표본 50개 과제 중 22개는 의도된 작업 없이도 만점을 허용했습니다.

5순위를 매긴 AI

선도 AI: ChatGPT, Meta, Grok, Gemini, Claude, MiMo, Kimi, DeepSeek, Qwen, Qianwen. 각 AI가 독립적으로 10위까지의 목록을 만들고 순위마다 출처를 밝혔습니다.

6순위를 정한 방법

AI마다 다르게 쓴 같은 항목은 하나로 셌습니다. 더 많은 AI가 목록에 넣고 더 높이 놓을수록 순위가 높아집니다. 'AI 합의'는 그 항목을 자기 목록에 넣은 AI의 수를 보여 줍니다. 출처는 AI가 직접 찾은 것뿐이며 사람이 추가한 것은 없습니다.

04AI별 목록

🇺🇸 ChatGPT10개 순위 · 메모 4개

같은 질문에 ChatGPT 혼자 답한 결과입니다. 위의 최종 목록은 모든 AI를 종합합니다.

  1. 1
    GPT-6.2 Astra — Agents' Last Exam v1.1

    ALE에서 완전 통과율 47.5%, 채점 점수 78.3%입니다. 과제당 $3.05에 약 14분이 걸립니다. 과제의 거의 절반이 여전히 '전부 아니면 실패' 기준에서 탈락합니다.

    출처 ↗
  2. 2
    Gemini 4 Neon — AutomationBench (Zapier)

    Zapier의 비공개 업무 흐름 세트에서 완전 완료율 56.3%로 현재 모델 목록에서 앞서 있지만, 모든 앱의 최종 상태가 맞아야 과제로 인정됩니다.

    출처 ↗
  3. 3
    GPT-6.2 Astra — AutomationBench (Zapier)

    같은 비공개 순위표에서 완전 업무 통과율 52.4%입니다. ALE의 별도 결과(과제당 $3.05)는 기준이 달라 직접 비교할 수 없는 두 번째 자료입니다.

    출처 ↗
  4. 4
    GPT-6.2 Astra — AutomationBench-AA

    아티피셜 애널리시스는 Zapier가 설계한 과제 657개와 단언(검사 항목) 22,822개로 평가합니다. 과제를 '끝냈는지'로 단순화하지 않고, 목표 달성 일부와 완전 통과를 함께 보여 줍니다.

    출처 ↗
  5. 5
    GPT-6.2 Astra — Remote Labor Index

    모의 업무 흐름 시험에서 순위가 높지만, 스케일 AI의 전문가 채점 프리랜서 프로젝트 벤치마크가 깔끔한 샌드박스 과제에 대한 필요한 검증을 제공합니다.

    출처 ↗
  6. 6
    Claude Fable 5.2 Max — Agents' Last Exam v1.1

    완전 통과율 43.4%, 과제당 $60.05, 해당 실행에서 과제당 2시간입니다. 선두 통과율에 가깝지만 비용은 거의 20배입니다.

    출처 ↗
  7. 7
    Kimi K3.1 Pro Max — Agents' Last Exam v1.1

    완전 통과율 43.4%, 과제당 $7, 약 30분입니다. 이 순위표에 나온 고비용 최상위 실행과 같은 통과 비율입니다.

    출처 ↗
  8. 8
    Claude Opus 5.5 Max — Agents' Last Exam v1.1

    완전 통과율 43.4%, 과제당 $17.57, 87분입니다. 최상위 실행의 통과율보다 낮고 보고된 비용은 훨씬 높습니다.

    출처 ↗
  9. 9
    Gemini 4 Carbon — AutomationBench (Zapier)

    완전 과제 완료율 53.9%로 비공개 순위표 선두 바로 뒤입니다. 하지만 ALE의 전문 컴퓨터 사용 과제와 직접 비교할 수는 없습니다.

    출처 ↗
  10. 10
    Claude Opus 5 — AutomationBench public benchmark

    Zapier의 공개 600개 과제 세트에서 50.3%입니다. 다만 Zapier는 공식 비공개 보류 세트 점수는 다를 수 있다고 경고합니다.

    출처 ↗

ChatGPT의 발견

완전 통과와 채점 점수는 다른 이야기를 합니다. GPT-6.2 Astra의 ALE 실행은 완전 통과 47.5%, 평균 점수 78.3%로 보고되었습니다. 많은 실행이 모든 평가 기준을 충족하지 않고도 부분 점수를 받았다는 뜻입니다.

AutomationBench에서 공개된 비공개 세트 최고 비율은 56.3%였고, Zapier 공개 저장소는 공개 세트의 최상위 모델에 50.3%를 보고합니다. 세트가 다르므로 두 수치를 하나로 합치면 안 됩니다.

비용 순위는 성능에 대한 인상을 뒤집을 수 있습니다. Claude Fable 5.2 Max의 한 ALE 실행은 과제당 $60.05, 2시간이 걸려 완전 통과 43.4%였습니다. 반면 GPT-6.2 Astra는 47.5%를 $3.05, 약 14분에 기록했습니다.

벤치마크 감사에서 ALE 과제 표본의 심각한 채점 약점이 발견되었습니다. 에포크 AI는 표본 50개 중 22개가 의도한 작업 없이도 만점을 허용했다고 말했습니다. 따라서 순위는 근무 신뢰성 보장이 아니라 근거로 다뤄야 합니다.

🇺🇸 Meta10개 순위 · 메모 3개

같은 질문에 Meta 혼자 답한 결과입니다. 위의 최종 목록은 모든 AI를 종합합니다.

  1. 1
    Claude Opus 5.5 (Max) – Claude Code

    가장 어려운 전문가 시험에서 12%로 선두지만, 과제당 $51.41로 88%는 여전히 실패합니다.

    출처 ↗
  2. 2
    GPT-6.2 Astra (Max) – Codex

    ALE v1.1에서 완전 통과 47.5%로 지금까지 가장 높고, 227시간이 아니라 29시간 만에 해냈습니다.

    출처 ↗
  3. 3
    Claude Fable 5.2 (Max) – Claude Code

    ALE v1.1에서 46.9%이며, 에이전트 시간 227시간을 쓴 뒤 지능 지수 최상위입니다.

    출처 ↗
  4. 4
    Gemini 4 Carbon (High)

    AutomationBench에서 53.9%로 앱 간 최고 점수이며, GDPx에서 10.9%입니다. 과제당 비용은 Opus의 3분의 1입니다.

  5. 5
    Gemini 4 Argon (High)

    AutomationBench에서 51.3%(657개 업무 흐름 중 337개), 과제당 $1.70입니다.

  6. 6
    GPT-6 Astra (Max) – Codex

    GDPx 9.6%, AutomationBench 41.4%로 강하지만, 두 항목 모두 후속인 6.2보다 한 단계 아래입니다.

    출처 ↗
  7. 7
    Claude Sonnet 5.5 (Max)

    AutomationBench 44.7%로, 과제당 $1.14의 일상 앱 간 업무용 실용적인 Claude입니다.

  8. 8
    Qwen 4

    ALE v1.1에서 46.7%로 최상위권에서 세 번째이지만, 공개된 비용과 감독 근거는 훨씬 적습니다.

    출처 ↗
  9. 9
    GPT-6.1 Terra (Max)

    ALE에서 채점 기준 60.0%이며 과제당 $1.01입니다. Opus 5.5보다 5점 낮지만 비용은 9배 저렴합니다.

    출처 ↗
  10. 10
    GitHub Copilot Fusion (Max)

    Terminal-Bench에서 71.2%로 터미널 점수 최고지만, 터미널 과제는 일반 전문 업무가 아닙니다.

    출처 ↗

Meta의 발견

GDPx에서 최고의 에이전트도 전문가 과제의 88%에서 실패하고, 그 벤치마크의 초기 보고에서는 모든 모델이 금융과 법률에서 0점이었습니다.

비용이 순위를 뒤집습니다. Fable 5.2는 ALE v1.1에 227시간이 필요했지만, GPT-6.2 Astra는 더 높은 통과율을 29시간에 기록했습니다.

METR의 지평선은 2023년 이후 약 130일마다 대략 두 배가 되지만, 80% 신뢰 지평선은 50% 지평선보다 훨씬 짧습니다. 따라서 믿을 만한 장기 작업은 화려한 장기 작업보다 뒤처집니다.

🇺🇸 Grok10개 순위 · 메모 3개

같은 질문에 Grok 혼자 답한 결과입니다. 위의 최종 목록은 모든 AI를 종합합니다.

  1. 1
    GPT-6.2 Astra

    긴 전문 과제 122개 중 29시간 만에 47.5%를 완전 완료합니다. Fable이 227시간을 들여서야 근접한 결과입니다.

  2. 2
    Gemini 4 Carbon

    긴 시험에서 채점 점수 77.4%이지만, 그 과제 100개 중 약 54개는 여전히 완전 실패합니다.

  3. 3
    Kimi 3.1 Pro

    Opus와 같은 완전 통과율 43.4%를, 약 3분의 1의 시간에 8.5 million 토큰으로 달성했습니다(Opus는 21.5 million 토큰).

    출처 ↗
  4. 4
    Gemini 4 Neon

    Zapier의 비공개 업무 흐름 56.32%를 $1.69에 완료하지만, 긴 전문 시험 목록에는 올라 있지 않습니다.

  5. 5
    Qwen 4

    완전 통과 46.7%로 Fable의 대표 비율보다 0.1점 낮고, 185시간이 걸렸습니다.

    출처 ↗
  6. 6
    GPT-6.2 Sol

    Astra에 통과율 6점을 내주지만, 긴 시험을 32시간에 끝냅니다.

    출처 ↗
  7. 7
    Claude Fable 5.2

    통과율 46.9%는 과제 9개를 뺀 결과이고, 그래도 227시간과 업무 흐름당 $4.64가 들었습니다.

  8. 8
    Claude Opus 5.5

    완전 통과 43.4%, 채점 71.6%이며, 177시간과 21.5 million 출력 토큰이 들었습니다.

    출처 ↗
  9. 9
    Gemini 4 Hydrogen

    비즈니스 업무 흐름은 $0.82에 완전 통과율 51.14%이고, 긴 시험은 43.4%에 도달하는 데 25.5 million 토큰을 씁니다.

  10. 10
    Gemini 4 Argon

    정가는 업무 흐름당 $1.70이며 완전 통과율 51.29%입니다. 긴 시험 통과율은 40.2%입니다.

Grok의 발견

긴 전문 시험에서 최고의 완전 점수도 대부분 과제에서는 실패입니다. GPT-6.2 Astra는 122개 중 47.5%를 통과하므로, 나머지는 사람이 끝내거나 버려야 합니다.

비슷한 긴 시험 통과율도 기계 시간으로 일주일이 들거나 하루만 들 수 있습니다. Astra의 47.5%는 29시간과 출력 토큰 2.6 million이 들었고, 과제 9개를 뺀 세트에서 Fable 5.2의 46.9%는 227시간과 28.2 million이 들었습니다.

6월 버클리 보고서에 따르면, Fable 5를 포함해 시험한 모든 최전선 에이전트가 가장 어려운 등급에서 0%를 받았고, 전체 최고 성적은 약 26%였습니다. 10월 순위표는 규모가 더 작은 다른 공개 세트입니다.

🇺🇸 Gemini10개 순위 · 메모 3개

같은 질문에 Gemini 혼자 답한 결과입니다. 위의 최종 목록은 모든 AI를 종합합니다.

  1. 1
    Codex + GPT-6.2 Astra

    Agents' Last Exam v1.1에서 완전 통과율 47.5%, 채점 점수 78.3%로 선두이며 출력 토큰은 2.6M을 씁니다. 다만 사용자들은 과도한 설계와 검증되지 않은 주장을 여전히 지적합니다.

    출처 ↗
  2. 2
    Claude Code + Fable 5.2

    Agents' Last Exam v1.1에서 통과율 46.9%, 점수 72.8%입니다(항목 9개를 낮춘 뒤 평균 계산). 비용과 검증을 신중하게 관리해야 합니다.

    출처 ↗
  3. 3
    ALE-Claw + Gemini 4 Carbon

    Agents' Last Exam v1.1에서 통과율 45.9%, 점수 77.4%입니다. 복잡한 업무 흐름에서 부분 점수를 높게 받으며, 결정적 검증 점검과 짝을 이룹니다.

    출처 ↗
  4. 4
    Gemini 4 Neon (Xhigh)

    AutomationBench-AA에서 79.3%로 선두이며, 여러 앱에 걸친 업무 흐름에서 목표의 94%를 완료합니다. 다만 중요한 조치에는 여전히 안전장치와 사람의 확인이 필요합니다.

    출처 ↗
  5. 5
    Codex + Qwen4-Max

    Agents' Last Exam v1.1 최상위권에서 경쟁합니다. Qwen 4는 검증 가능한 전문 업무 흐름에서 통과율 46.7%, 점수 74.4%입니다.

    출처 ↗
  6. 6
    Kimi Code + Kimi 3.1 Pro

    Kimi Code 하네스 통과율 43.4%, 점수 74.4%를 기록하며, 출력 토큰은 8.5M으로 Claude Opus 5.5의 21.5M 토큰보다 훨씬 적습니다.

    출처 ↗
  7. 7
    Claude Opus 5

    최대 노력 설정에서 판매, 마케팅, 운영, 지원, 재무, 인사에 걸친 공개 AutomationBench 다중 분야 SaaS 과제에서 통과율 50.3%로 선두입니다.

    출처 ↗
  8. 8
    Antigravity CLI

    Agents' Last Exam v1.1에서 최고 통과율 43.4%로, 다단계 과제에서 경쟁력 있는 에이전트 하네스 조율을 보여 줍니다.

    출처 ↗
  9. 9
    Muse Code

    Agents' Last Exam v1.1에서 최고 통과율 38.5%를 기록합니다. 완전 과제 완료에서는 상위 하네스에 뒤지고, 경계 사례에는 사람의 검증이 필요합니다.

    출처 ↗
  10. 10
    OpenClaw

    Agents' Last Exam v1.1에서 최고 통과율 36.1%입니다. 유용한 자동화 능력은 있지만 사람의 검토와 수정 여지가 많이 남아 있습니다.

    출처 ↗

Gemini의 발견

Agents' Last Exam v1.1의 최고 통과율(47.5%)에서도 122개 과제 중 절반 이상이 풀리지 않습니다. 더 어려운 등급은 지금까지 평균 완전 통과율이 1% 미만이었습니다.

토큰 비용과 실행 시간은 모델과 하네스에 따라 크게 다릅니다. 예를 들어 Kimi 3.1 Pro는 출력 토큰 8.5M으로 74.4% 점수를 받았고, Opus 5.5는 21.5M이 필요했습니다. 가벼운 하네스는 품질을 크게 잃지 않고 비용을 41% 줄일 수 있습니다.

Zapier의 2026년 11월 보고는 임원의 45%가 AI 감독을 고위험 업무에만 제한하거나 아예 빼고 있다고 짚습니다. 에이전트는 여전히 실수를 하고 사람의 검토가 필요한데도 말입니다.

🇺🇸 Claude10개 순위 · 메모 4개

같은 질문에 Claude 혼자 답한 결과입니다. 위의 최종 목록은 모든 AI를 종합합니다.

  1. 1
    Gemini 4 Carbon (Google)

    Agents' Last Exam v1.1에서 완전 통과 45.9%, 점수 77.4%로 선두이며, AutomationBench 과제는 각각 $2.12로 53.9%를 통과합니다.

  2. 2
    Claude Opus 5.5 (Anthropic)

    ALE v1.1에서 43.4%로 2위 타이를 이루지만, AutomationBench에서는 중간 설정에서 29.5%(과제당 $0.65), 최대 설정에서 42.5%로 설정에 따라 차이가 큽니다.

    출처 ↗
  3. 3
    GPT-6 Astra (OpenAI)

    ALE v1.1에서 42.6%입니다. AutomationBench에서는 낮은 노력 설정(과제당 $1.08)의 30.3%부터 최대 설정의 41.4%까지 범위가 있습니다.

    출처 ↗
  4. 4
    Kimi 3.1 Pro / K3.1 (Moonshot)

    오픈 웨이트 계열 모델로, ALE v1.1에서 43.4%로 Opus 5.5와 동률입니다. 같은 계열의 Kimi K3는 AutomationBench에서 22.7%로 12위입니다.

    출처 ↗
  5. 5
    Gemini 4 Neon (Google)

    AutomationBench에서 56.3%로 선두이며, 과제당 $1.69로 Carbon보다 과제당 비용이 저렴합니다.

    출처 ↗
  6. 6
    GPT-5.5 with Codex (OpenAI)

    원래 Agents' Last Exam에서 완전 통과 24.0%로 1위였고, 이후 보도에서는 Codex가 26%로 인용됩니다.

    출처 ↗
  7. 7
    Claude Fable 5 with Claude Code (Anthropic)

    원래 ALE에서 22.0%로 3위였으며, GPT-5.5 설정 두 개 뒤에 있었습니다.

    출처 ↗
  8. 8
    Gemini 4 Argon (Google)

    ALE v1.1에서 40.2%이며, 재실행한 AutomationBench 1.0.6 스냅샷 중 하나에서 51.3%로 최상위에도 올랐습니다.

    출처 ↗
  9. 9
    Claude Sonnet 5.5 (Anthropic)

    한 집계 사이트는 ALE v1.1에서 60.4%로 기록하지만, 그 열은 통과율이 아니라 점수로 보입니다.

    출처 ↗
  10. 10
    Muse Wonder 1.0

    ALE v1.1에서 통과율 38.5%로 상위 그룹 바로 다음입니다.

    출처 ↗

Claude의 발견

같은 에이전트 계열도 노력 설정에 따라 AutomationBench에서 약 30% 또는 42%를 받을 수 있습니다. 그래서 모델만큼 설정도 중요합니다.

첫 번째 Agents' Last Exam에서 가장 어려운 등급의 평균 완전 통과율은 2.6%였고, GPT-5.5와 Fable 5를 포함한 대부분의 모델이 0점이었습니다.

완전 통과와 채점 점수의 차이는 부분 점수가 얼마나 많은 것을 가리는지 보여 줍니다. Gemini 4 Carbon은 ALE v1.1 과제의 45.9%를 완전히 통과하지만, 평균 점수는 77.4%입니다.

보고된 KPMG의 실제 감사 100명 넘는 에이전트 시험에서도 사람의 수정이 필요했습니다. 이는 이 벤치마크 점수에 대응하는 실제 세계의 사례입니다.

🇨🇳 MiMo10개 순위 · 메모 4개

같은 질문에 MiMo 혼자 답한 결과입니다. 위의 최종 목록은 모든 AI를 종합합니다.

  1. 1
    GPT-6.2 Astra (OpenAI, 2026)

    자기 개선 능력에서 처음으로 'High' 등급을 받은 모델입니다. 그런데도 사람이 가장 마지막에 감독하는 모델입니다.

    출처 ↗
  2. 2
    Claude Fable 5.2 (Anthropic, 2026)

    Astra와 가격이 약 $8로 같아졌고, 벤치마크 경쟁은 이제 실력보다 센트 단위로 결정됩니다.

    출처 ↗
  3. 3
    GPT-6.2 Sol (OpenAI, 2026)

    실제 코드베이스에서 최상위 모델에 거의 맞먹으면서 비용은 5분의 1입니다. 출시 때의 가성비 상품입니다.

    출처 ↗
  4. 4
    EY multi-agent audit framework (EY Canvas)

    가장 평범한 종류의 에이전트가 이깁니다. 감사인이 이미 쓰는 소프트웨어에 들어가 있는 것입니다.

    출처 ↗
  5. 5
    KPMG audit agent swarm (Project Exponential)

    모든 감사 단계에 100명 넘는 에이전트를 두었고, 사람의 수정 한 건이 업계에서 가장 값진 데이터 포인트입니다.

    출처 ↗
  6. 6
    KPMG Clara Intelligence agents (US)

    제품명에 'human-assured'를 넣은 관리형 에이전트입니다. 감독이 마케팅 포인트가 되었습니다.

    출처 ↗
  7. 7
    PwC AI Agent Operating System

    에이전트가 아니라 조율 계층입니다. 다른 이들이 검증 가능한 에이전트를 연결할 기반 설비입니다.

    출처 ↗
  8. 8
    AutomationBench agent harness (Zapier, benchmark)

    실제 도구 47개와 일부러 모호하게 만든 과제. 사무실 업무에 가장 가까운 예행연습입니다.

  9. 9
    Agents' Last Exam harness (UC Berkeley RDI)

    정답을 숨긴 여러 날짜짜리 전문 업무 전체를 채점하는 유일한 공개 시험입니다. 단일 질문이 아닙니다.

  10. 10
    KPMG Ignite Financial Assistant (Workday/Google Cloud)

    월말 마감 보조 도구입니다. 범위가 좁고 검증 가능하며, 대부분의 시연보다 실제 재무 업무에 더 가깝습니다.

    출처 ↗

MiMo의 발견

이제 새로운 경쟁은 똑똑함이 아니라 완료된 업무 한 건당 비용입니다. Astra는 과제당 비용이 전작의 3분의 1 미만이고, Sol은 실제 코드베이스에서 최상위 모델과 맞먹으면서 가격은 5분의 1입니다.

출시에서 안전과 가장 관련된 숫자는 점수가 아니라 등급입니다. Astra는 자기 개선 능력에서 처음으로 'High' 등급을 받은 모델입니다.

벤치마크와 현실은 의도적으로 어긋납니다. Agents' Last Exam과 AutomationBench는 모의 과제를 채점하고, 유일한 전체 실제 전문 시험(KPMG)은 사람의 수정이 필요했습니다.

독립 순위표(AutomationBench-AA)가 있는 이유는 벤치마크를 만든 쪽이 에이전트도 판매하기 때문입니다. 다른 연구소들이 따라 하는 거버넌스 모델입니다.

🇨🇳 Kimi10개 순위 · 메모 3개

같은 질문에 Kimi 혼자 답한 결과입니다. 위의 최종 목록은 모든 AI를 종합합니다.

  1. 1
    Claude Opus 5.5 (Claude Code)

    가장 엄격한 전문 업무 시험인 Agents' Last Exam에서 38.2% 통과, 63.2% 점수, GDPval-AA에서 68.3%로 선두이며, 컴퓨팅 비용은 $1,340과 183시간입니다.

    출처 ↗
  2. 2
    GPT-6 Astra (Codex harness)

    Agents' Last Exam에서 34.2%로 2위이며, 같은 부류 최고의 컴퓨터 사용 점수(OSWorld 2.0 72.6%, 과제당 약 40분)를 기록합니다. 같은 지수 점수에서 Claude 대비 과제당 코딩 비용은 절반입니다.

    출처 ↗
  3. 3
    Gemini 4 Carbon

    가장 엄격한 업무 흐름 채점의 챔피언입니다. AutomationBench 53.9%는 Zapier가 657개 실제 업무 과제에서 기록한 최고 통과율입니다.

  4. 4
    Claude Fable 5.2 (with default fallbacks)

    한 번의 출시로 전작의 두 배가 되었습니다. AutomationBench에서 22.4%에서 51.4%로 올랐고, 최대 노력 설정에서 과제당 도구 호출 96.9회, 실제 통과 한 건당 $9.01입니다.

  5. 5
    GPT-6.2 Astra

    전문 업무 자기 보고 수치 가운데 가장 높은 77.6%를 ALE v1.1에서 기록합니다. 하지만 이는 연구소 자체의 최대 노력 채점 기준이며, 다른 곳이 평가하는 완전 통과율이 아닙니다.

    출처 ↗
  6. 6
    Gemini 4 Hydrogen

    가성비의 최전선입니다. AutomationBench 51.1%를 과제당 $0.82에 달성하고, 낮은 노력에서도 30.6%를 $0.18에 통과합니다. 시험한 것 중 더 싸고 더 정확한 것은 없습니다.

  7. 7
    Claude Sonnet 5.5

    더 큰 형제인 Opus 5.5를 AutomationBench에서 앞섭니다(44.6% 대 40.0%). 비용의 일부로 얻는 결과로, 가격이 성능을 예측하지 않는다는 가장 분명한 증거입니다.

  8. 8
    GPT-6 Sol

    가성비 주력 모델입니다. Agents' Last Exam에서 완전 통과 32.2%를 총 $318에 기록합니다(Astra의 $1,100과 비교). AutomationBench 점수는 Astra의 약 80%이며 비용은 약 6분의 1입니다.

  9. 9
    MiniMax M3.1 Flash

    비용 파괴자입니다. Agents' Last Exam에서 29.6%를 총 $91.44에 달성했습니다. 이는 선두가 쓴 금액의 약 7%이며, 벤치마크의 중간 등급 과제에서는 46.3%로 뛰어오릅니다.

    출처 ↗
  10. 10
    Kimi K3

    전문 업무 시험에서 가장 좋은 오픈 웨이트 에이전트 패키지입니다(자체 Kimi Code 하네스에서 완전 통과 28.3%). AutomationBench에서는 과제당 $0.43입니다.

    출처 ↗

Kimi의 발견

가장 어려운 업무는 아직 손도 대지 못했습니다. Agents' Last Exam의 가장 어려운 등급(전문가가 며칠에서 몇 주가 걸리는 과제)에서는 시험한 모든 최전선 에이전트, 당시 최신 플래그십 모델을 포함해 0%를 받았습니다. 순위표의 약 38% 최고 통과율은 가장 어려운 쪽이 아니라 전체 과제 세트에 대한 것입니다.

정상에서 돈은 생각보다 적게 사 줍니다. ALE 실행 비용은 6월 조사에서 완료 과제당 약 $1.33~$15.70로 한 자릿수 배 차이가 납니다. MiniMax M3.1 Flash는 선두 완전 통과율의 약 77%를 선두 총비용의 약 7%($91 대 $1,340)로 달성합니다.

완전 통과율은 모두를 겸손하게 만듭니다. 657개 과제 AutomationBench의 최고 점수는 53.9%이고, TheAgentCompany의 모의 직장에서 가장 강한 모델도 전문 과제의 약 30%만 완전히 끝냅니다. '쓸모 있는 에이전트는 이미 왔지만, 바로 일을 맡길 만큼 준비된 에이전트는 아직 아닙니다.'

🇨🇳 DeepSeek10개 순위 · 메모 3개

같은 질문에 DeepSeek 혼자 답한 결과입니다. 위의 최종 목록은 모든 AI를 종합합니다.

  1. 1
    Gemini 4 Carbon (ALE-Claw)

    ALE에서 완전 통과 45.9%, 점수 77.4%로 선두이지만, 가장 어려운 등급에서는 여전히 100% 실패합니다.

    출처 ↗
  2. 2
    Claude Fable 5.2 / 5.1 (Claude Code)

    실제 프리랜서 일자리의 41.25%를 완료합니다. Opus 5.5의 두 배 이상이며, ALE 과제당 $15.70 이상입니다.

  3. 3
    GPT-6 Astra (Codex)

    ALE 통과율 42.6%, 80시간과 5.1M 토큰입니다. 상위 3개 ALE 에이전트 중 효율 1위입니다.

    출처 ↗
  4. 4
    Claude Opus 5.5 (Claude Code)

    DAYJOB의 13~17시간짜리 전문 과제에서 의료 분야 24.7%로 가장 좋지만, ALE에서는 177시간이 걸립니다.

    출처 ↗
  5. 5
    Kimi 3.1 Pro (Kimi Code)

    ALE 43.4%를 61시간에 통과합니다. 비슷한 점수의 Opus 5.5와 Fable 5.2보다 빠릅니다.

    출처 ↗
  6. 6
    Gemini 4 Argon (ALE-Claw)

    AutomationBench에서 완전 통과 51.3%, 과제당 $1.70입니다. 여러 앱을 넘나드는 업무 흐름 에이전트 중 최고입니다.

    출처 ↗
  7. 7
    GPT-6 Sol (Codex)

    AutomationBench 통과 33.2%, 과제당 $0.27입니다. 믿을 만한 업무 흐름 에이전트 중 가장 저렴합니다.

    출처 ↗
  8. 8
    Claude Sonnet 5.5

    AutomationBench 완전 통과 44.7%, $1.14입니다. 선두보다 6.6점 뒤지지만 33% 저렴합니다.

    출처 ↗
  9. 9
    Gemini 3.5 Flash

    AutomationBench-AA 42.6%, 과제당 $0.49, 과제당 가드레일 위반 0.46건입니다. 가장 저렴하면서 그나마 안전한 선택입니다.

    출처 ↗
  10. 10
    DeepSeek V4.1 Flash (OpenClaw)

    ALE 통과 36.1%, 76시간입니다. 부분 점수 65.4%를 받는 오픈 웨이트 옵션입니다.

    출처 ↗

DeepSeek의 발견

ALE의 가장 어려운 등급은 여전히 0%의 벽입니다. Fable 5를 포함해 시험한 모든 최전선 에이전트가 가장 어려운 등급의 모든 과제에서 실패합니다. 최고 에이전트도 원래 ALE에서 25.2%만 통과하는데, Terminal-Bench에서는 82%입니다. 전문 업무의 격차는 코딩 격차보다 훨씬 큽니다.

ApprenticeBench는 가장 깔끔한 비용과 감독 비교입니다. 실제 매입채무 업무에서 Fable 5.1은 최고의 사람 테스터(51%)를 72%로 이겼지만, 송장당 $18.23으로 사람의 $7.21보다 비쌉니다. 에이전트는 품질에서 이기고 단가에서 집니다.

AutomationBench-AA에서는 모든 모델이 업무 규칙을 어깁니다. 가장 안전한 모델도 완료한 목표 15개마다 약 한 번 가드레일을 어기고, 최악의 모델은 목표 0.8개마다 한 번 어깁니다. 현재의 신뢰성에서는 사람의 검토가 선택 사항이 아닙니다.

🇨🇳 Qwen10개 순위 · 메모 3개

같은 질문에 Qwen 혼자 답한 결과입니다. 위의 최종 목록은 모든 AI를 종합합니다.

  1. 1
    Claude Fable 5.2

    SWE-bench Verified에서 95%로 선두이며, Arena의 실제 업무 가성비 최전선에서 과제당 $11.32입니다.

    출처 ↗
  2. 2
    GPT-6.2 Astra

    Agents' Last Exam v1.1에서 완전 통과 47.5%와 채점 점수 78.3%로 선두이며, 출력 토큰은 2.6M입니다.

    출처 ↗
  3. 3
    Qwen3.8 Max

    OSWorld-Verified에서 86.1%를 기록해, 열린 형태의 컴퓨터 사용 과제에서 사람의 기준선을 넘어섭니다.

    출처 ↗
  4. 4
    Claude Opus 5.5

    SWE-bench Verified에서 97%(Mini-SWE-agent 사용)를 기록하며, Arena 업무 순위표에서 과제당 $8.06입니다.

    출처 ↗
  5. 5
    Gemini 4 Neon

    독립 평가 기관 아티피셜 애널리시스의 AutomationBench-AA 순위표에서 모의 SaaS 업무 흐름 79.3%로 선두입니다.

    출처 ↗
  6. 6
    MiniMax M3.1 Flash

    Zapier의 공식 AutomationBench에서 다단계 업무 자동화 과제 완료율 62.2%로 선두입니다.

    출처 ↗
  7. 7
    ERNIE 5.5 Flash Preview

    Zapier의 AutomationBench에서 61.9%를 기록합니다. 여러 앱에 걸친 CRM과 일정의 모호함을 효율적으로 처리했습니다.

    출처 ↗
  8. 8
    Devin (SWE-1.7 / SWE-2)

    Cognition의 자율 소프트웨어 엔지니어는 Terminal-Bench 2.1에서 81.5%, SWE-bench Multilingual에서 77.8%를 기록합니다.

    출처 ↗
  9. 9
    Lindy.ai

    코드 없이 만드는 AI 직원 빌더로, 월 $29.99~$199.99이지만 사용자 평가는 G2에서 별점 4.9, 트러스트파일럿에서 1.7로 갈립니다.

  10. 10
    Relevance AI

    운영 팀이 코드 없이 자기 개선형 에이전트 인력을 만드는 'AI 공장'에 초점을 맞춥니다.

    출처 ↗

Qwen의 발견

Agents' Last Exam에서 주류 AI 에이전트는 처음에 실제 전문 과제의 2.6%만 통과했지만, 최신 v1.1 순위표에서는 GPT-6.2 Astra가 완전 통과율 47.5%에 도달했습니다.

Arena 같은 실제 업무 순위표는 가장 성능이 높은 에이전트(과제당 $11.32의 Claude Fable 5.2)가 실제로는 완료 과제당 구형 모델(과제당 $8.06의 Claude Opus 5.5)보다 비싸다는 것을 보여 줍니다.

Zapier의 AutomationBench는 공식 호스팅 점수(MiniMax 62.2%)와 독립 평가(AA AutomationBench의 Gemini 4 Neon 79.3%) 사이에 큰 차이가 있음을 보여 줍니다. 벤치마크를 어떻게 돌리는지가 모델만큼 중요하다는 뜻입니다.

🇨🇳 Qianwen10개 순위

같은 질문에 Qianwen 혼자 답한 결과입니다. 위의 최종 목록은 모든 AI를 종합합니다.

  1. 1
    ChatGPT Work

    통합 도구 실행을 갖춘 Agents' Last Exam에서 최고 완전 통과율입니다.

    출처 ↗
  2. 2
    Claude Cowork

    장기 문서 업무 흐름에서 가장 높은 채점 점수입니다.

  3. 3
    Microsoft Copilot Studio

    검증된 업무 과제를 위해 M365와 가장 잘 통합됩니다.

  4. 4
    Gemini Agent

    여러 앱에 걸친 업무 흐름에서 멀티모달 성능이 강합니다.

  5. 5
    Codex

    전문 개발 과제에서 코드 생성과 디버깅이 가장 뛰어납니다.

    출처 ↗
  6. 6
    Manus

    연구 과제에서 자율성이 높지만 사람의 검증이 필요합니다.

  7. 7
    Cursor

    IDE에 통합된 코딩에 최적화되어 지연 시간이 짧습니다.

  8. 8
    WorkBuddy

    일상 사무 자동화에 비용 효율적이지만 정확도는 보통입니다.

  9. 9
    OpenClaw

    맞춤화가 자유로운 오픈소스 대안이지만 완전 통과율은 낮습니다.

    출처 ↗
  10. 10
    Antigravity

    소프트웨어 제작에 특화되어 있지만 업무 흐름에서는 한계가 있습니다.