오늘의 트렌드로 돌아가기: 메타 “우리 저렴한 AI, 앤트로픽 AI와 맞먹고 비용은 3분의 1”
Poly 랭킹 · 오늘의 트렌드에서

2026년 에이전트용 최고의 모델: 사무 업무 대 코드

Muse Ember는 사무 업무 흐름 목표의 68.1%를 끝내 Claude Haiku 5.5의 35.4%를 앞섰습니다. 그러나 Haiku의 패치는 관리자가 만든 테스트를 더 자주 통과했습니다. 34.9% 대 27.2%입니다.

  • 1위: 메타 Muse Ember
  • 10개 순위

01최종 목록

선도 AI들이 각자 독립적으로 열 개짜리 목록을 만들었습니다. 확인하기 쉬운 하나의 결과입니다. 모든 순위에는 이유, 출처, 그 항목을 넣은 AI 목록이 있습니다.

순서: AI의 동의가 많은 항목부터 적은 항목 순입니다.

밝은 배지는 해당 AI가 이 항목을 자기 목록에 넣었다는 뜻이고, 흐린 배지는 넣지 않았다는 뜻입니다.

  1. 1

    메타 Muse Ember

    사무 단계를 맡기면 업무 흐름 목표의 68.1%를 끝냅니다. Haiku는 35.4%입니다. 최종 병합 단계에는 맡기지 마세요. 거기서는 27.2%로, Haiku의 34.9%에 뒤집니다.

    포함함: Claude, ChatGPT, Meta, Grok, Z.ai, Kimi, DeepSeek, Qwen. 포함하지 않음: Gemini, Wenxin.

    각 AI 목록에서의 순위: Claude: 1 · ChatGPT: 1 · Meta: 5 · Grok: 1 · Z.ai: 3 · Kimi: 2 · DeepSeek: 1 · Qwen: 2

    각 AI가 짚은 점 8
    • Claude1위

      AutomationBench-AA 사무 업무에서 37.8%로 이기지만(Haiku 13.9%), 코드에서는 집니다. FrontierCode 2.0에서 27.2% 대 34.9%입니다.

      출처 ↗
    • ChatGPT1위

      사무 업무 전문 모델입니다. 업무 목표 완료율은 68.1%이지만, 병합을 기준으로 한 코딩 평가에서는 27.2%에 그칩니다.

      출처 ↗
    • Meta5위

      터미널 중심 모델입니다. 메타 표에서 Terminal-Bench 40.9%, FrontierCode-AA 27.2%입니다. AA의 AutomationBench 24개 모델 목록에서는 사무 점수를 찾지 못했습니다.

      출처 ↗
    • Grok1위

      사무 단계를 맡기십시오. 업무 목표 68.1%를 끝냅니다. 최종 병합은 맡기지 마십시오.

      출처 ↗
    • Z.ai3위

      한 모델 안에서 사무와 코딩이 갈립니다. AA의 업무 실행에서 68.1%이지만, 메타의 더 엄격한 표는 37.8%라고 합니다. 터미널에서는 Haiku를 40.9% 대 32.8%로 이기지만, 병합 가능한 코드에서는 Haiku에 27.2% 대 34.9%로 집니다.

      출처 ↗
    • Kimi2위

      사무 업무 37.8%를 끝내 Haiku 비율의 2.7배입니다. 하지만 관리자 병합 테스트에서는 뒤집힙니다. 27.2% 대 Haiku의 34.9%입니다.

      출처 ↗
    • DeepSeek1위

      비즈니스 업무 상위권(엄격 기준 37.8%)이면서 터미널 작업도 경쟁력 있는(40.9%) 유일한 저가 모델입니다. 다만 코딩 패치의 27.2%만 병합될 것입니다.

      출처 ↗
    • Qwen2위

      에이전트가 하루 종일 하는 반복적인 API 호출과 라우팅을 위해 만들어졌습니다.

      출처 ↗
    AI 8개가 이 순위로 선택
  2. 2

    Claude Haiku 5.5

    코드를 맡기기 좋은 저렴한 모델입니다. Artificial Analysis의 FrontierCode 실행에서는 34.9%이지만, 코그니션의 자체 순위표는 27.7%를 줍니다. 사무 업무에서는 35.4%만 끝냅니다.

    포함함: Claude, ChatGPT, Meta, Grok, Z.ai, Kimi, DeepSeek, Qwen. 포함하지 않음: Gemini, Wenxin.

    각 AI 목록에서의 순위: Claude: 2 · ChatGPT: 2 · Meta: 4 · Grok: 2 · Z.ai: 5 · Kimi: 1 · DeepSeek: 2 · Qwen: 4

    각 AI가 짚은 점 8
    • Claude2위

      코딩 선택지입니다. 소형 그룹에서 FrontierCode 2.0 최고 점수 34.9%이지만, 사무 업무는 13.9%만 끝냅니다.

      출처 ↗
    • ChatGPT2위

      사무 업무 대결에서는 Ember에 집니다. 그러나 보고된 FrontierCode 비교에서는 Ember를 7.7점 앞섭니다.

      출처 ↗
    • Meta4위

      저가 코딩 1위입니다. FrontierCode 2.0 27.7%, 터미널 36%이지만, 사무 업무는 35.4%에 그칩니다.

      출처 ↗
    • Grok2위

      코드를 건드려야 할 저가 모델입니다. 병합 가능 34.9%이지만, 엄격한 사무 테스트에서는 13.9%입니다.

      출처 ↗
    • Z.ai5위

      코드를 맡기기에 가장 좋은 모델입니다. FrontierCode 2.0에서 패치 중 34.9%가 관리자 테스트를 통과하며, 저가 경쟁 모델보다 약 10점 앞섭니다. 다만 사무 점수(35.4%)는 이 중 가장 낮습니다.

      출처 ↗
    • Kimi1위

      코드 부문에서 이기는 유일한 소형 모델입니다. FrontierCode 2.0 34.9%로 Muse Ember를 7.7점 앞서며, 터미널 39.2%도 얻습니다.

      출처 ↗
    • DeepSeek2위

      저가 계층의 병합 가능 코드 전문 모델입니다. FrontierCode 2.0 34.9%이지만, 사무 업무 엄격 기준은 13.9%에 그칩니다. 코드는 고쳐도 스프레드시트는 놓칩니다.

      출처 ↗
    • Qwen4위

      앤트로픽의 안전 장치 덕분에 SaaS 업무 규칙을 어기지 않습니다.

    AI 8개가 이 순위로 선택
  3. 3

    딥시크 V4.1 Flash

    사무 업무에서 66.6%로 강하지만, 코그니션 코드 순위표에서는 19.3%뿐입니다. 터미널 점수는 제작사 자체 발표 42.3%에서 Vals AI 실행 31.82%로 떨어집니다.

    포함함: Claude, ChatGPT, Meta, Grok, Z.ai, Kimi, DeepSeek. 포함하지 않음: Gemini, Wenxin, Qwen.

    각 AI 목록에서의 순위: Claude: 4 · ChatGPT: 5 · Meta: 8 · Grok: 5 · Z.ai: 4 · Kimi: 4 · DeepSeek: 3

    각 AI가 짚은 점 7
    • Claude4위

      비토 그룹에서 20턴 세션 기준 가장 강한 긴 세션 코더로, 71.9%를 기록했습니다. 20턴 실행 비용은 2.17달러입니다. AutomationBench-AA 수치는 찾지 못했습니다.

      출처 ↗
    • ChatGPT5위

      지능 점수 33점과 공개 가중치는 매력적입니다. 하지만 더 어려운 병합 가능 작업에서는 FrontierCode가 19.3%로 떨어집니다.

      출처 ↗
    • Meta8위

      가격 대비 터미널이 강해 31.82%이고, 0.54달러입니다. 코딩은 19.3%로 약합니다. 셸 작업자이지, 병합 담당자는 아닙니다.

    • Grok5위

      Hermes 표에서 36.91점이고 작업당 0.26달러입니다. Haiku는 37.00점에 0.49달러입니다.

      출처 ↗
    • Z.ai4위

      사무 업무 66.6%이고 MIT 공개 가중치라 직접 호스팅할 수 있습니다. 하지만 터미널 결과는 테스트 환경에 따라 뒤집힙니다. 자체 발표 42.3%, Vals 독립 실행 19.7%입니다.

      출처 ↗
    • Kimi4위

      가장 싼 본격 코딩 선택지입니다. FrontierCode 2.0 19.3%이고 롤아웃당 0.38달러입니다. Terminal-Bench는 자체 발표 42.3%, 독립 측정 33.8%입니다.

      출처 ↗
    • DeepSeek3위

      터미널 전문 모델입니다. Terminal-Bench 4.0 42.3%와 AutomationBench v1.0.6 60.5%이지만, FrontierCode에서는 28%에 그칩니다. 명령 실행은 강하고, 병합할 패치를 만드는 것은 약합니다.

      출처 ↗
    AI 7개가 이 순위로 선택
  4. 4

    GPT-6 Luna

    사무 업무는 중간 수준이고 터미널에는 약합니다. 사무 목표의 53.2%(엄격 기준 20.2%), 코드 25.2%, 터미널 과제는 16.4%만 해결합니다.

    포함함: Claude, ChatGPT, Meta, Grok, Z.ai, Kimi, DeepSeek. 포함하지 않음: Gemini, Wenxin, Qwen.

    각 AI 목록에서의 순위: Claude: 6 · ChatGPT: 6 · Meta: 6 · Grok: 9 · Z.ai: 8 · Kimi: 7 · DeepSeek: 6

    각 AI가 짚은 점 7
    • Claude6위

      사무 업무는 20.2%로 중간이고, 코드(25.2%)와 터미널 작업(16.4%)은 출시 경쟁 모델 세 개 중 꼴찌입니다.

      출처 ↗
    • ChatGPT6위

      Coding Agent Index 31점의 저비용 도우미입니다. 그러나 공식 터미널 작업 해결률은 16.4%뿐입니다.

      출처 ↗
    • Meta6위

      균형 잡힌 저가 모델입니다. 사무 업무 53.2%, 코딩 21.9%입니다. 사무는 Haiku보다 낫고, 코딩은 Haiku보다 약합니다.

      출처 ↗
    • Grok9위

      엄격한 사무 테스트에서 20.2%, 병합 테스트에서 25.2%로 집니다. 가격표는 Ember와 같습니다.

      출처 ↗
    • Z.ai8위

      사무 점수는 누가 채점하느냐에 따라 거의 세 배 차이가 납니다. 메타의 단일 시도 표에서는 20.2%이고, AA의 표준 실행에서는 53.2%입니다. 코그니션 표에서 병합 가능성은 23.8%입니다.

      출처 ↗
    • Kimi7위

      한 모델 안에서 사무와 코딩이 갈립니다. 비즈니스 업무에 강해서(AA 한 실행에서 AutomationBench-AA 53%, 메타의 더 엄격한 표에서 20.2%), Terminal-Bench는 16.4%입니다.

      출처 ↗
    • DeepSeek6위

      작업당 비용(0.15달러)이 낮은 대신 사무와 터미널 결과가 약합니다. AutomationBench 엄격 기준 20.2%, Terminal-Bench 16.4%, FrontierCode 25.2%입니다.

      출처 ↗
    AI 7개가 이 순위로 선택
  5. 5

    미니맥스 M3.1 Flash

    저렴한 모델 중 사무 업무 점수가 가장 높은 72.5%입니다. 터미널 점수는 자체 발표 38.1%에서 Vals AI 실행 25.25%로 떨어집니다. 앱 작업에는 쓰고, 셸 작업에는 쓰지 않는 것이 좋습니다.

    포함함: Claude, Meta, Grok, Z.ai, Kimi, DeepSeek. 포함하지 않음: ChatGPT, Gemini, Wenxin, Qwen.

    각 AI 목록에서의 순위: Claude: 5 · Meta: 2 · Grok: 7 · Z.ai: 2 · Kimi: 5 · DeepSeek: 5

    각 AI가 짚은 점 6
    • Claude5위

      비토의 20턴 세션에서 75.0%에 이르러 Haiku 5.5와 거의 같습니다. 다만 한 번 실행하는 데 3~5시간이 걸립니다.

      출처 ↗
    • Meta2위

      사무 업무 목표 72.5%를 끝내 저가 모델 중 사무 점수가 가장 높습니다. 다만 터미널 점수는 25%입니다.

      출처 ↗
    • Grok7위

      출시 때 발표한 터미널 수치 38.1%와 공동 환경의 수치 25.25%는 같은 테스트가 아닙니다.

      출처 ↗
    • Z.ai2위

      사무 업무 목표 72.5%로, 249개 모델 가운데 Gemini 4 Carbon 다음 2위입니다. Vals는 터미널 테스트 한 건에 0.21달러만 청구해, 이 등급에서 완료 작업당 비용이 가장 쌉니다.

      출처 ↗
    • Kimi5위

      Terminal-Bench 4.0에서 38.1%이고, 출력 가격은 약 0.60달러로 Luna와 같습니다. 그보다 22점 높습니다. 사무와 병합 코드 수치는 아직 발표되지 않았습니다.

      출처 ↗
    • DeepSeek5위

      저가 모델 중 사무 업무 챔피언으로, AutomationBench-AA 72.5%입니다. 하지만 FrontierCode 21%, Terminal-Bench 26%에 그칩니다. 풀 리퀘스트 말고 스프레드시트를 맡기십시오.

      출처 ↗
    AI 6개가 이 순위로 선택
  6. 6

    GLM-5.3-Flash

    사무 업무 대기열용 오픈 웨이트 모델로 60.4%입니다. 병합 가능한 코드는 코그니션 순위표에서 14.2%, Artificial Analysis 실행에서 17.6%로 떨어집니다.

    포함함: ChatGPT, Grok, Kimi, DeepSeek. 포함하지 않음: Claude, Meta, Gemini, Z.ai, Wenxin, Qwen.

    각 AI 목록에서의 순위: ChatGPT: 4 · Grok: 3 · Kimi: 6 · DeepSeek: 7

    각 AI가 짚은 점 4
    • ChatGPT4위

      Flash 모델치고 터미널 해결률은 35.8%입니다. 하지만 관리자 수준의 코딩 벤치마크에서는 14.2%에 그칩니다.

      출처 ↗
    • Grok3위

      사무 큐에 맞는 공개 모델로 60.4%입니다. 병합 가능한 코드는 17.6%로 떨어집니다.

      출처 ↗
    • Kimi6위

      Terminal-Bench 4.0에서 35.8%이고 작업당 0.36달러입니다. 저렴한 터미널 작업이 믿을 만해지기 시작하는 가격 대비 성능 지점입니다.

      출처 ↗
    • DeepSeek7위

      AutomationBench 60%라서 사무 단계를 맡길 만합니다. 하지만 FrontierCode 15%, Terminal-Bench 33%라서 저장소 작업에는 맞지 않습니다.

      출처 ↗
    AI 4개가 이 순위로 선택
  7. 7

    Gemini 3.8 Flash

    사무 목표는 59.9%를 끝내지만 터미널 과제는 약 19%뿐입니다. Vals AI는 터미널 테스트 한 번에 $8.65를 청구했는데, 예산 그룹에서 가장 높은 청구액입니다.

    포함함: ChatGPT, Meta, Z.ai, DeepSeek. 포함하지 않음: Claude, Grok, Gemini, Kimi, Wenxin, Qwen.

    각 AI 목록에서의 순위: ChatGPT: 7 · Meta: 3 · Z.ai: 7 · DeepSeek: 9

    각 AI가 짚은 점 4
    • ChatGPT7위

      사진과 글을 함께 다루는 100만 토큰 도우미입니다. 하지만 평가한 환경에서 공식 터미널 작업은 19.1%만 해결되었습니다.

      출처 ↗
    • Meta3위

      사무 업무 59.9%, 터미널 19.7%입니다. MiniMax와 같은 구도이지만, 측정된 작업 비용은 훨씬 높습니다.

      출처 ↗
    • Z.ai7위

      사무 업무 59.9%이고, 지능 팬들은 Opus급이라고 말합니다. 그러나 같은 모델이 Vals에서 터미널 테스트 한 건에 8.65달러가 들어, 예산형 계층에서 완료 작업당 비용이 가장 큽니다.

      출처 ↗
    • DeepSeek9위

      높은 강도에서 AutomationBench 60%입니다. 하지만 FrontierCode 19%, Terminal-Bench 20%에 그칩니다. 사무 능력이 병합 가능한 코드로 이어지지 않는다는 좋은 예입니다.

      출처 ↗
    AI 4개가 이 순위로 선택
  8. 8

    띵킹 머신스 Inkling 2 Small

    사무 업무에서 46%로 뛰었다고 보도되었지만 출처는 하나입니다. 코드는 22.6%에서 25%로 올랐습니다. 터미널 과제는 12.63%만 해결합니다.

    포함함: Claude, ChatGPT. 포함하지 않음: Meta, Grok, Gemini, Z.ai, Kimi, DeepSeek, Wenxin, Qwen.

    각 AI 목록에서의 순위: Claude: 3 · ChatGPT: 8

    각 AI가 짚은 점 2
    • Claude3위

      이전 모델의 AutomationBench-AA 5%에서 46%로 뛰었다고 발표되었습니다. 반면 Terminal-Bench 4.0은 약 13%에 머뭅니다.

      출처 ↗
    • ChatGPT8위

      FrontierCode 22.6%는 괜찮은 점수입니다. 하지만 지수 작업당 1.18달러와 느린 완료 속도가 에이전트 경제성을 약하게 만듭니다.

      출처 ↗
    AI 2개가 이 순위로 선택
  9. 9

    Qwen3.8 Flash

    사무 점수 55.9%는 같은 Artificial Analysis 페이지의 터미널 점수 25.3%보다 30점 위에 있습니다. 이 수치를 보도한 출처는 하나뿐입니다.

    포함함: Grok. 포함하지 않음: Claude, ChatGPT, Meta, Gemini, Z.ai, Kimi, DeepSeek, Wenxin, Qwen.

    각 AI 목록에서의 순위: Grok: 4

    각 AI가 짚은 점 1
    • Grok4위

      같은 표에서 사무 업무 55.9%이며, 터미널 점수보다 30점 높습니다.

      출처 ↗
    AI 1개가 이 순위로 선택
  10. 10

    Qwen3.8-27B

    터미널이 아니라 화면 속 데스크톱 작업에 특화된 모델입니다. OSWorld-Verified에서는 84.3%이지만 Terminal-Bench 4.0에서는 5.1%뿐이고, 사무 업무는 48.2%입니다. 이 수치를 보도한 출처는 하나뿐입니다.

    포함함: Z.ai. 포함하지 않음: Claude, ChatGPT, Meta, Grok, Gemini, Kimi, DeepSeek, Wenxin, Qwen.

    각 AI 목록에서의 순위: Z.ai: 9

    각 AI가 짚은 점 1
    • Z.ai9위

      소형 계층의 GUI 전문 모델입니다. OSWorld-Verified 84.3%(전체 4위)이지만 Terminal-Bench 4.0은 5.1%입니다. 데스크톱 앱은 되고, 컨테이너 터미널은 안 됩니다.

      출처 ↗
    AI 1개가 이 순위로 선택

상위 3위 더 알아보기 ↓

02상위 3위 더 알아보기

순위는 위에 있습니다. 여기서는 상위 세 곳이 무엇인지, 왜 여기 있는지, 알아 둘 만한 것을 소개합니다.

세 모델은 서로 다른 시험으로 비교됩니다. Ember의 68.1%와 딥시크의 66.6%는 사무 업무 흐름 실행에서 나온 점수이고, Haiku의 35.4%는 같은 사무 기준에서 나온 점수입니다. 코드와 터미널 점수는 다른 벤치마크에서 나온 것이며, 일부는 자체 발표 수치이거나 독립

1메타 Muse Ember

1위 — 메타 Muse Ember. 10개 AI 중 8개의 목록에 포함; 그 안의 중간 순위: 1.5. 이 모델이 1위에 오른 이유는 병합해도 되는 코드에서는 뒤처지지만, Haiku보다 사무 업무 단계를 훨씬 많이 끝내기 때문입니다.

알고 계셨나요

  • 메타 Muse Ember는 메타 Muse 계열에서 가장 작은 모델입니다. 더 큰 기획자 모델인 Muse Wonder와 함께 돌도록 만들어졌습니다. 메타의 설명은 이렇습니다. “Muse Wonder가 계획하고, Muse Ember가 많은 양의 일을 처리합니다.” 가중치는 비공개입니다.

    출처 ↗ ✓ 여러 AI가 확인
무엇인가
메타의 Muse 계열 중 가장 작고 저렴한 모델로, 작고 반복되는 에이전트 작업용으로 만들어졌습니다.
강점
사무 업무 목표의 68.1%를 끝냅니다. Haiku의 35.4%보다 크게 높습니다.
누구에게 맞나
사무형 에이전트 작업에 맞습니다. 병합해야 하는 코드에는 맞지 않습니다.
  • 사무 업무 목표 달성사무 목표의 68.1%
여기 있는 이유
  • 메타의 장기 데스크톱 작업 시험(OSWorld 2.1)에서 Ember는 부분 점수 69.5%를 받았습니다. Claude Haiku 5.5는 68.9%입니다. 거의 비긴 셈이어서, 이 기준으로 보면 Ember가 사무 작업에서 앞서는 폭은 작습니다.

  • The New Stack 보도에 따르면, 과제를 완전히 끝낸 비율은 Ember가 33.8%, Haiku가 27.8%입니다. 처음부터 끝까지 완료한 과제만 세면 Ember의 우위가 드러납니다.

알고 계셨나요
  • Ember의 요금은 입력 토큰 100만 개당 $0.10, 출력 토큰 100만 개당 $0.50입니다. 그래도 1M 토큰 컨텍스트 창을 갖고 있으며 이미지 입력도 받습니다. Spark, Glimmer, Wonder에 이어 나온 네 번째 Muse 모델입니다.

유의할 점
  • Ember는 2026년 11월 9일에 더 작고 저렴한 모델로 출시되어, 지금까지의 보도는 메타 자체 측정치에 기대고 있습니다. 아직 독립적인 사용자 후기는 찾지 못했습니다. 초기 점수는 제작사의 주장으로 보시기 바랍니다.

더 알아보기
  • 블로그를 열고 “Try Muse” 버튼으로 Muse Ember를 직접 써 보십시오. 먼저 도입부 바로 뒤에 있는 “Intelligence vs. Cost Per Task” 차트를 보십시오. 이 숫자들은 메타 자체의 것이니, 독립적인 시험 결과와 비교해 확인하시기 바랍니다.

상위 3위 비교 ↓

2Claude Haiku 5.5

2위 — Claude Haiku 5.5. 10개 AI 중 8개의 목록에 포함; 그 안의 중간 순위: 2. 이 모델은 코드를 맡길 만한 저렴한 모델로 2위에 올랐습니다. 관리자들의 시험을 통과하는 패치가 더 많기 때문입니다. 사무 점수는 낮은데도요.

무엇인가
앤트로픽의 작고 저렴한 모델로, Claude 5.5 계열입니다.
강점
코드 패치가 관리자들의 시험을 통과하는 비율이 34.9%로, Ember의 27.2%보다 높습니다.
누구에게 맞나
코드 수정과 패치에 맞습니다. 사무 업무에는 가장 좋은 선택은 아닙니다.
  • 사무 업무 목표 달성사무 목표의 35.4%

Wikidata

여기 있는 이유
  • 메타의 결과 페이지에 따르면 Claude Haiku 5.5는 OSWorld 2.1 사무형 작업에서 부분 점수 68.9%입니다. Ember는 69.5%이므로, 데스크톱 작업에서 Haiku는 근소하게 뒤쫓고 있습니다.

  • 같은 시험은 완전 완료를 따로 셉니다. Haiku는 과제의 27.8%를 완전히 끝내, Ember의 33.8%에 못 미칩니다. 이 모델의 순위는 코드 등 다른 분야의 강점에서도 나옵니다.

Kimi이(가) 1위로 꼽았습니다. 그들이 본 것
  • Kimi: 코드 부문에서 이기는 유일한 소형 모델입니다. FrontierCode 2.0 34.9%로 Muse Ember를 7.7점 앞서며, 터미널 39.2%도 얻습니다.

상위 3위 비교 ↓

3딥시크 V4.1 Flash

3위 — 딥시크 V4.1 Flash. 10개 AI 중 7개의 목록에 포함; 그 안의 중간 순위: 4. 이 모델은 3위입니다. 사무 점수는 높지만 코드 점수는 낮고, 터미널 결과도 시험마다 차이가 큽니다.

무엇인가
딥시크의 저렴한 Flash 모델로, 공개 가중치를 제공합니다. 지금은 Pro 요청도 처리합니다.
강점
사무 업무에서 66.6%로 Ember에 가깝고, 작업 하나당 비용은 Haiku보다 쌉니다.
누구에게 맞나
직접 설치해 운영하는 일과 터미널 작업에 맞습니다. 바로 병합할 코드에는 맞지 않습니다.
  • 사무 업무 목표 달성사무 업무에서 66.6%
여기 있는 이유
  • Vals의 독립 Terminal-Bench 4.0 측정에서 딥시크 V4.1 Flash 1017 버전은 31.82%를 기록했습니다. 같은 페이지에서 GPT-6.1 Sol은 55.05%이므로, 선두와의 격차가 큽니다.

역사
  • 2026년 9월 14일, 딥시크는 최상위 V4-Pro 모델에 들어오는 모든 요청을 더 저렴한 V4.1-Flash로 돌리기 시작했고, 절감분은 고객에게 넘겼습니다. Flash는 나흘 전인 9월 10일에 출시되었습니다.

    출처 ↗ ✓ 여러 AI가 확인
유의할 점
  • 딥시크는 Pro 모델로 가는 모든 요청이 이제 V4.1 Flash로 연결되고 Flash 가격으로 청구된다고 말합니다. 해커 뉴스 댓글 작성자들은 모델을 말없이 바꾸는 것을 우려스럽게 보고 있으며, 한 사용자는 코딩 도구에서 Flash가 되풀이 실행과 잘못된 도구 호출로 실패한다고 전했습니다.

더 알아보기
  • 허깅페이스에서 모델 카드를 여십시오. 터미널 작업 시험을 다루는 “Performance across agent scaffolds” 섹션부터 보십시오. 이 페이지에는 552B 매개변수라고 나와 있는데 허브 메타데이터에는 763B라고 되어 있으니, 숫자를 주의 깊게 보시기 바랍니다.

상위 3위 비교 ↓

상위 3위 나란히 보기

메타 Muse EmberClaude Haiku 5.5딥시크 V4.1 Flash
AI 목록 포함8 / 108 / 107 / 10
사무 업무 목표 달성사무 목표의 68.1%사무 목표의 35.4%사무 업무에서 66.6%
1위로 꼽은 AIClaude, ChatGPT, Grok, DeepSeekKimi—

AI 수가 같은 순위는 각 AI 목록에서의 평균 순위로 정렬했습니다.

03알아 둘 만한 것

AI들이 목록을 만들며 발견한 것.

사무 업무 1위가 코드 1위는 아닙니다. Ember는 완료된 업무 흐름에서 Haiku 5.5를 앞서고(68.1% 대 35.4%), 병합 가능한 코드에서는 뒤집니다(27.2% 대 34.9%). 두 결과 모두 Artificial Analysis 실행입니다.

발견한 AI:
포함함: Claude, ChatGPT, Grok, Z.ai, Kimi, DeepSeek. 포함하지 않음: Meta, Gemini, Wenxin, Qwen.
출처 ↗

AutomationBench에는 두 가지 집계 방식이 있습니다. 68.1%는 끝낸 목표를 셉니다. 메타의 37.8%는 첫 시도에 완전히 끝낸 업무만 셉니다. Haiku도 같은 방식으로 35.4%에서 13.9%로 떨어지므로, 두 집계를 섞어 쓸 수 없습니다.

발견한 AI:
포함함: Claude, ChatGPT, Grok, Z.ai, DeepSeek. 포함하지 않음: Meta, Gemini, Kimi, Wenxin, Qwen.
출처 ↗

제작사 표의 수치가 더 높게 나옵니다. 딥시크는 Terminal-Bench에서 42.3%라고 밝혔지만 Vals AI는 31.82%를 측정했고, 미니맥스는 38.1% 대 25.25%입니다.

발견한 AI:
포함함: Grok, Z.ai, Kimi. 포함하지 않음: Claude, ChatGPT, Meta, Gemini, DeepSeek, Wenxin, Qwen.
출처 ↗

하네스(실행 틀)도 점수의 일부입니다. Haiku의 Terminal-Bench 결과는 앤트로픽 발표 39.2%, Vals AI 36.36%, 그리고 같은 66개 과제에서 Artificial Analysis 32.8%입니다.

발견한 AI:
포함함: Meta, Grok, Z.ai, Kimi. 포함하지 않음: Claude, ChatGPT, Gemini, DeepSeek, Wenxin, Qwen.
출처 ↗

FrontierCode 2.0의 주 점수는 테스트를 통과한 패치의 비율이 아니라, 차단 기준이 있는 가중 채점표입니다. Haiku는 Artificial Analysis 실행에서 34.9%, 코그니션 자체 순위표에서 27.7%입니다.

발견한 AI:
포함함: ChatGPT, Meta, Grok, Z.ai. 포함하지 않음: Claude, Gemini, Kimi, DeepSeek, Wenxin, Qwen.
출처 ↗

04사람들이 묻는 질문

에이전트용 최고의 AI 모델은 무엇입니까?

작업에 따라 다릅니다. 사무 단계에는 Muse Ember가 맞고(AutomationBench 목표의 68.1%), 관리자의 테스트를 통과해야 하는 코드에는 Claude Haiku 5.5가 맞습니다(FrontierCode 2.0에서 34.9%).

출처 ↗
AI 모델과 AI 에이전트는 무엇이 다릅니까?

모델은 다음 단계를 생성하고, 에이전트는 그 모델을 도구와 반복 루프로 감쌉니다. 그래서 Terminal-Bench 4.0은 66개 과제에서 모델과 에이전트의 조합을 채점하며, 같은 모델이라도 실행 틀에 따라 점수가 달라집니다.

Hermes Agent에 가장 좋은 AI 모델은 무엇입니까?

Hermes Index 스냅샷에서 Haiku 5.5는 37.00점에 과제당 약 $0.49, 딥시크 V4.1 Flash는 36.91점에 약 $0.26입니다. Ember는 목록에 없습니다.

출처 ↗
사무 업무 흐름 점수가 출처마다 이렇게 크게 다른 이유는 무엇입니까?

Artificial Analysis는 끝낸 목표를 세고(Ember 68.1%), 메타 차트는 엄격한 1회 시도 채점을 씁니다(Ember 37.8%, Luna 20.2% 대 53.2%).

출처 ↗

05집계 방법

공식 없이 쉬운 말로.

1질문

에이전트용 소형 AI 모델 상위 10개: 사무 업무 흐름 대 관리자가 병합할 코드

2이 주제를 고른 이유

독립된 세 곳의 발행처가 서로 다른 세 종류의 에이전트 작업을 측정합니다. 그래서 독자는 'Haiku보다 낫다'는 말이 작업에 따라 달라진다는 것을 알게 되는데, 이는 어떤 단일 순위표로도 보이지 않습니다.

3적용 범위

에이전트에 쓰이는 전 세계의 소형·저가 AI 모델

4살펴본 기준

  • 시뮬레이션된 사무 앱 안에서 끝낸 업무 흐름 목표의 비율
  • 실제 저장소 관리자가 작성한 테스트를 통과한 코딩 패치의 비율
  • 모델과 에이전트의 조합이 해결한 실제 터미널 과제의 비율
  • 제작사 표와 독립 실행 사이에서 각 점수가 얼마나 달라지는지
  • Artificial Analysis AutomationBench-AA — 시뮬레이션 앱(Gmail, 슬랙, 세일즈포스 등)에서 끝낸 업무 흐름 목표의 비율. 목표 단위 점수와 엄격한 pass@1 점수 d
  • 코그니션 FrontierCode 2.0(및 Artificial Analysis 자체 실행) — 비공식 명세로 작성된 패치가 관리자의 테스트와 채점표를 통과하는지, 132개 과제 기준
  • 라우드 연구소와 하버의 Terminal-Bench 4.0 — 모델과 에이전트의 조합이 해결한 컨테이너 기반 터미널 과제 66개의 비율
  • Vals AI의 Terminal-Bench 4.0 — 같은 66개 과제를 하나의 공통 실행 틀로 돌린 결과. 제작사 표를 검증하는 외부 점검용입니다

5순위를 매긴 AI

선도 AI: Claude, ChatGPT, Meta, Grok, Gemini, Z.ai, Kimi, DeepSeek, Wenxin, Qwen. 각 AI가 독립적으로 10위까지의 목록을 만들고 순위마다 출처를 밝혔습니다.

6순위를 정한 방법

AI마다 다르게 쓴 같은 항목은 하나로 셌습니다. 더 많은 AI가 목록에 넣고 더 높이 놓을수록 순위가 높아집니다. 'AI 합의'는 그 항목을 자기 목록에 넣은 AI의 수를 보여 줍니다. 출처는 AI가 직접 찾은 것뿐이며 사람이 추가한 것은 없습니다.

06AI별 목록

🇺🇸 Claude10개 순위 · 메모 3개

같은 질문에 Claude 혼자 답한 결과입니다. 위의 최종 목록은 모든 AI를 종합합니다.

  1. 1
    메타 Muse Ember (2026)

    AutomationBench-AA 사무 업무에서 37.8%로 이기지만(Haiku 13.9%), 코드에서는 집니다. FrontierCode 2.0에서 27.2% 대 34.9%입니다.

    출처 ↗
  2. 2
    Claude Haiku 5.5

    코딩 선택지입니다. 소형 그룹에서 FrontierCode 2.0 최고 점수 34.9%이지만, 사무 업무는 13.9%만 끝냅니다.

    출처 ↗
  3. 3
    띵킹 머신스 Inkling 2 Small

    이전 모델의 AutomationBench-AA 5%에서 46%로 뛰었다고 발표되었습니다. 반면 Terminal-Bench 4.0은 약 13%에 머뭅니다.

    출처 ↗
  4. 4
    DeepSeek V4.1 Flash

    비토 그룹에서 20턴 세션 기준 가장 강한 긴 세션 코더로, 71.9%를 기록했습니다. 20턴 실행 비용은 2.17달러입니다. AutomationBench-AA 수치는 찾지 못했습니다.

    출처 ↗
  5. 5
    MiniMax M3.1 Flash

    비토의 20턴 세션에서 75.0%에 이르러 Haiku 5.5와 거의 같습니다. 다만 한 번 실행하는 데 3~5시간이 걸립니다.

    출처 ↗
  6. 6
    GPT-6 Luna

    사무 업무는 20.2%로 중간이고, 코드(25.2%)와 터미널 작업(16.4%)은 출시 경쟁 모델 세 개 중 꼴찌입니다.

    출처 ↗
  7. 7
    Muse Spark 1.3 (메타)

    Index 점수는 37점이지만 작업당 비용이 2.39달러이고, 이 모델의 업무별 또는 코드별 점수는 찾지 못했습니다.

    출처 ↗
  8. 8
    Kimi K3.1 Pro

    비토 테스트에서 코딩 점수는 64.9%입니다. 하지만 20턴 실행에 29.32달러가 들어 싼 선택은 아닙니다.

    출처 ↗
  9. 9
    GLM-5.3 (지푸 AI)

    비토의 코딩 세션 전체 점수는 60.1%이고, 20턴 실행 한 번에 20.28달러입니다. 사무 업무 점수는 찾지 못했습니다.

    출처 ↗
  10. 10
    Claude Sonnet 5.5 (중가 기준)

    큰 모델은 아니지만, Terminal-Bench 4.0에서 30%(중간 강도)라는 점수는 Inkling의 13%를 맥락 속에 놓고 보게 합니다.

    출처 ↗

Claude의 발견

Ember와 Haiku 5.5는 과제 유형에 따라 순위가 뒤바뀝니다. AutomationBench-AA에서 Ember는 37.8%, Haiku는 13.9%이고, FrontierCode 2.0에서는 Haiku가 34.9%, Ember가 27.2%입니다. 둘 다 Artificial Analysis의 실행 결과입니다.

AutomationBench-AA는 두 가지로 읽힙니다. 37.8%는 업무를 처음부터 완전히 끝낸 경우만 세고, 68.1%는 끝난 목표를 셉니다.

Artificial Analysis의 Coding Agent Index에서 Ember는 46점, Haiku는 37점입니다. 그러므로 FrontierCode에서 진 결과가 모든 코딩 측정에 그대로 이어지지는 않습니다.

🇺🇸 ChatGPT10개 순위 · 메모 3개

같은 질문에 ChatGPT 혼자 답한 결과입니다. 위의 최종 목록은 모든 AI를 종합합니다.

  1. 1
    메타 Muse Ember (2026)

    사무 업무 전문 모델입니다. 업무 목표 완료율은 68.1%이지만, 병합을 기준으로 한 코딩 평가에서는 27.2%에 그칩니다.

    출처 ↗
  2. 2
    Claude Haiku 5.5 (2026)

    사무 업무 대결에서는 Ember에 집니다. 그러나 보고된 FrontierCode 비교에서는 Ember를 7.7점 앞섭니다.

    출처 ↗
  3. 3
    OpenAI GPT-6.1 Sol (2026)

    FrontierCode 39.0%와 공식 터미널 해결률 58.2%는, 어려운 패치를 더 강한 모델로 넘길 근거가 됩니다.

    출처 ↗
  4. 4
    지푸 AI GLM-5.3-Flash (2026)

    Flash 모델치고 터미널 해결률은 35.8%입니다. 하지만 관리자 수준의 코딩 벤치마크에서는 14.2%에 그칩니다.

    출처 ↗
  5. 5
    DeepSeek V4.1 Flash 1017 (2026)

    지능 점수 33점과 공개 가중치는 매력적입니다. 하지만 더 어려운 병합 가능 작업에서는 FrontierCode가 19.3%로 떨어집니다.

    출처 ↗
  6. 6
    OpenAI GPT-6 Luna (2026)

    Coding Agent Index 31점의 저비용 도우미입니다. 그러나 공식 터미널 작업 해결률은 16.4%뿐입니다.

    출처 ↗
  7. 7
    구글 Gemini 3.8 Flash (2026)

    사진과 글을 함께 다루는 100만 토큰 도우미입니다. 하지만 평가한 환경에서 공식 터미널 작업은 19.1%만 해결되었습니다.

    출처 ↗
  8. 8
    띵킹 머신스 Inkling 2 Small (2026)

    FrontierCode 22.6%는 괜찮은 점수입니다. 하지만 지수 작업당 1.18달러와 느린 완료 속도가 에이전트 경제성을 약하게 만듭니다.

    출처 ↗
  9. 9
    코그니션 SWE-2 Flash (2026)

    코딩용 Flash 모델로 FrontierCode 24.0%에 이릅니다. 그러나 그것만으로 사무 에이전트로서의 신뢰성이 입증되지는 않습니다.

    출처 ↗
  10. 10
    메타 Muse Spark Open (2026)

    공개 가중치와 에이전트 연동은 쓸모가 있습니다. 하지만 FrontierCode 6.2%라서, 독립적인 패치 검토가 꼭 필요합니다.

    출처 ↗

ChatGPT의 발견

Ember는 비즈니스 업무에서 Haiku를 앞서고, Haiku는 병합 가능성에서 Ember를 앞섭니다. Ember는 AutomationBench 업무 목표 완료율 68.1%이고, FrontierCode-AA에서 Haiku는 34.9%, Ember는 27.2%입니다.

코그니션은 FrontierCode 2.0을 훨씬 어렵게 바꿨습니다. DeepSeek V4.1 Flash는 1.1 버전 43.9%에서 2.0 버전 19.3%로 떨어졌습니다. 이것은 측정된 모델의 퇴보가 아니라 벤치마크의 개정입니다.

실제 관리자의 기대치는 일반 테스트 통과보다 어렵습니다. FrontierCode는 범위, 설계, 완결성도 확인하며, 강한 모델도 작은 정리 요구 사항은 놓칠 수 있습니다.

🇺🇸 Meta10개 순위 · 메모 4개

같은 질문에 Meta 혼자 답한 결과입니다. 위의 최종 목록은 모든 AI를 종합합니다.

  1. 1
    GPT-6.1 Sol (2026)

    이 가격대에서 양쪽 모두 강한 몇 안 되는 모델입니다. 사무 업무 64.9%, 병합 가능한 코드 39.0%이며, 한 번 실행하는 데 1.03달러입니다.

    출처 ↗
  2. 2
    MiniMax M3.1 Flash (2026)

    사무 업무 목표 72.5%를 끝내 저가 모델 중 사무 점수가 가장 높습니다. 다만 터미널 점수는 25%입니다.

    출처 ↗
  3. 3
    구글 Gemini 3.8 Flash (2026)

    사무 업무 59.9%, 터미널 19.7%입니다. MiniMax와 같은 구도이지만, 측정된 작업 비용은 훨씬 높습니다.

    출처 ↗
  4. 4
    Claude Haiku 5.5 (2026)

    저가 코딩 1위입니다. FrontierCode 2.0 27.7%, 터미널 36%이지만, 사무 업무는 35.4%에 그칩니다.

    출처 ↗
  5. 5
    메타 Muse Ember (2026)

    터미널 중심 모델입니다. 메타 표에서 Terminal-Bench 40.9%, FrontierCode-AA 27.2%입니다. AA의 AutomationBench 24개 모델 목록에서는 사무 점수를 찾지 못했습니다.

    출처 ↗
  6. 6
    GPT-6 Luna (2026)

    균형 잡힌 저가 모델입니다. 사무 업무 53.2%, 코딩 21.9%입니다. 사무는 Haiku보다 낫고, 코딩은 Haiku보다 약합니다.

    출처 ↗
  7. 7
    지푸 AI GLM-5.3 (2026)

    사무 업무 62.2%, 코딩 17.8%입니다. 전체 GLM 모델 중 사무와 코딩 차이가 가장 큽니다.

    출처 ↗
  8. 8
    DeepSeek V4.1 Flash 1017 (2026)

    가격 대비 터미널이 강해 31.82%이고, 0.54달러입니다. 코딩은 19.3%로 약합니다. 셸 작업자이지, 병합 담당자는 아닙니다.

  9. 9
    문샷 AI Kimi K3.1 Pro (2026)

    사무 업무 73.3%로 이름만 보면 사무 1위입니다. 그러나 K3 계열의 FrontierCode 하락을 보면 코더로 읽어서는 안 됩니다.

    출처 ↗
  10. 10
    샤오미 MiMo-V2.6-Flash (2026)

    이 표에서 측정된 작업 중 가장 싼 0.13달러입니다. 하지만 찾은 자료에는 AutomationBench-AA, FrontierCode 2.0, Terminal-Bench 4.0 행이 없어서 두 과제 모두 입증되지 않았습니다.

    출처 ↗

Meta의 발견

사무 업무와 코딩이 갈립니다. MiniMax는 사무 목표 72.5%를 끝내지만 터미널 작업은 약 26%에 그칩니다. Haiku는 사무 업무 35.4%, 코딩 27.7%입니다.

FrontierCode 2.0은 모든 점수를 낮췄습니다. Opus는 54.6%에서 45.5%로, Kimi K3는 60%에서 17.7%로 떨어졌습니다. 새 테스트는 모두를 50점대에 몰아넣지 않고 등급을 나눕니다.

GPT-6.1 Sol은 Opus FrontierCode 2.0 점수의 86%(39.0% 대 45.5%)를 내면서, 실행 비용은 12분의 1입니다(1.03달러 대 12.82달러).

Haiku의 사무 점수는 어떤 AutomationBench를 말하느냐에 따라 다릅니다. AutomationBench-AA에서는 35.4%, 원래 AutomationBench 1.0.6에서는 12.0%입니다.

🇺🇸 Grok10개 순위 · 메모 4개

같은 질문에 Grok 혼자 답한 결과입니다. 위의 최종 목록은 모든 AI를 종합합니다.

  1. 1
    메타 Muse Ember (2026)

    사무 단계를 맡기십시오. 업무 목표 68.1%를 끝냅니다. 최종 병합은 맡기지 마십시오.

    출처 ↗
  2. 2
    Claude Haiku 5.5

    코드를 건드려야 할 저가 모델입니다. 병합 가능 34.9%이지만, 엄격한 사무 테스트에서는 13.9%입니다.

    출처 ↗
  3. 3
    GLM-5.3-Flash

    사무 큐에 맞는 공개 모델로 60.4%입니다. 병합 가능한 코드는 17.6%로 떨어집니다.

    출처 ↗
  4. 4
    Qwen3.8 Flash

    같은 표에서 사무 업무 55.9%이며, 터미널 점수보다 30점 높습니다.

    출처 ↗
  5. 5
    DeepSeek V4.1 Flash 1017

    Hermes 표에서 36.91점이고 작업당 0.26달러입니다. Haiku는 37.00점에 0.49달러입니다.

    출처 ↗
  6. 6
    Hy4 (텐센트)

    터미널에서 Ember와 39.4%로 비겼습니다. 다만 Ember 테스트 비용의 약 6배를 주고 샀습니다.

  7. 7
    MiniMax-M3.1-Flash

    출시 때 발표한 터미널 수치 38.1%와 공동 환경의 수치 25.25%는 같은 테스트가 아닙니다.

    출처 ↗
  8. 8
    MiMo-V2.6-Flash

    지수 27점이고 작업당 0.13달러입니다. 작업에 64분이 걸리며, 나중에 낮게 나온 출시 터미널 점수도 있습니다.

    출처 ↗
  9. 9
    GPT-6 Luna

    엄격한 사무 테스트에서 20.2%, 병합 테스트에서 25.2%로 집니다. 가격표는 Ember와 같습니다.

    출처 ↗
  10. 10
    구글 Gemini 3.8 Flash

    자동화보다 아는 것이 더 많습니다. 전지적 정확도 50.5%이며, 입력 가격은 0.75달러입니다.

    출처 ↗

Grok의 발견

유용한 구분은 같은 가격대 안에 있습니다. 메타 Muse Ember는 Artificial Analysis가 내세운 사무 업무 68.1%에서 앞서고, Claude Haiku 5.5는 병합 가능한 코드에서 34.9% 대 Ember의 27.2%로 앞섭니다. 한 모델은 사무 단계를 맡고, 다른 모델은 패치를 맡으십시오.

GLM-5.3-Flash는 제작사를 하나 더 두지 않고도 같은 구분을 보여 줍니다. AutomationBench-AA 60.4%, FrontierCode 2.0 17.6%입니다. 완료된 업무에서 앞서도, 관리자가 병합할 코드에서는 질 수 있습니다.

Haiku의 터미널 점수는 하나의 숫자가 아닙니다. 출시 자료에서는 39.2%, Artificial Analysis 실행에서는 32.8%, Vals에서는 36.36%, Hermes Index 스냅숏에서는 13.6%입니다. 테스트 환경도 결과의 일부입니다.

Hermes Index 스냅숏에서 DeepSeek V4.1 Flash는 36.91점이고 작업당 0.26달러입니다. Haiku 5.5는 37.00점이고 0.49달러입니다. Claude Opus 5.5는 63.31점으로 선두이며, 미러 사이트 표기로는 약 4.99달러입니다. 일상적인 에이전트 점수는 비슷합니다. 차이는 청구액에 있습니다.

🇺🇸 Gemini10개 순위 · 메모 1개

같은 질문에 Gemini 혼자 답한 결과입니다. 위의 최종 목록은 모든 AI를 종합합니다.

  1. 1
    앤트로픽 Claude 3.5 Haiku

    SaaS 앱 탐색은 원시 상태에서 13.9%로 뒤처집니다. 그러나 FrontierCode 관리자 병합률 41.2%로, 소형 모델 코드 품질에서는 플래그십 모델에 맞먹습니다.

  2. 2
    메타 Muse Ember (2026)

    사무 업무는 37.8%로 강합니다. Haiku 점수의 거의 세 배입니다. 하지만 엣지 케이스를 허술하게 처리해서, 관리자가 코드 패치의 72%를 거부합니다.

    출처 ↗
  3. 3
    Qwen 2.5 Coder 32B-Instruct

    공개 가중치 코딩 전문 모델로, 관리자 풀 리퀘스트에서 36.6%를 얻습니다. 같은 가격대의 독점 모델 가운데 Haiku를 빼면 모두 앞섭니다.

    출처 ↗
  4. 4
    구글 Gemini 2.0 Flash

    가장 균형 잡힌 범용 모델입니다. 사무 앱에서 26.5%, 터미널 엔지니어링에서 30.2%를 얻으며, 어느 한쪽에 치우치지 않습니다.

  5. 5
    OpenAI GPT-4o mini

    사무용 스프레드시트와 CRM은 믿고 처리합니다(20.2%). 그러나 관리자가 비동기 코드 경로를 테스트할 때는 FrontierCode에서 26.0%에 머뭅니다.

    출처 ↗
  6. 6
    DeepSeek-V3

    풀 리퀘스트의 복잡한 알고리즘 논리는 풀어냅니다(FrontierCode 32.4%). 그러나 사무 제품군의 지저분한 시뮬레이션 OAuth와 CRM 토큰 흐름은 다루기 어려워합니다.

    출처 ↗
  7. 7
    메타 Llama 3.3 70B Instruct

    코딩 28.5%, 터미널 문제 해결 27.3%로 균형이 잡혀 있습니다. 다만 지연 시간이 길어서 대화형 CLI 에이전트 실행이 느려집니다.

  8. 8
    Mistral Small 24B

    결정적인 터미널 스크립트 작성(24.2%)과 ERP 도구 라우팅에 뛰어납니다. 하지만 변수 이름이 관용적이지 않아 관리자 병합에서는 21.5%로 떨어집니다.

  9. 9
    구글 Gemini 1.5 Flash

    대용량 사무 수신함을 토큰 한도에 걸리지 않고 처리합니다. 그러나 제안한 코드 수정은 관리자가 5개 중 1개도 안 되게 병합합니다.

  10. 10
    Nous Research Hermes 3 (Llama 3.1 70B)

    자율 에이전트와 함수 호출에 맞게 특별히 미세 조정되었습니다. Terminal-Bench 22.7%를 얻지만, 사무 업무 비율은 14.2%에 맴돕니다.

Gemini의 발견

Qwen 2.5 Coder 32B 같은 공개 가중치 코딩 전문 모델은, 실제 저장소 관리자 검토에서 GPT-4o mini와 Gemini 1.5 Flash 같은 범용 독점 모델을 10%포인트 넘게 앞섭니다.

🇨🇳 Z.ai10개 순위 · 메모 2개

같은 질문에 Z.ai 혼자 답한 결과입니다. 위의 최종 목록은 모든 AI를 종합합니다.

  1. 1
    Kimi K3.1 Pro (문샷 AI, 2026)

    사무(AutomationBench-AA 73.3%)와 터미널(TB4.0 최고 발표 점수 67.2%)을 모두 맡습니다. 하지만 병합 가능한 코드에서는 전작 Kimi K3가 코그니션 기준 17.7%에 그쳤습니다.

    출처 ↗
  2. 2
    MiniMax M3.1 Flash (미니맥스, 2026)

    사무 업무 목표 72.5%로, 249개 모델 가운데 Gemini 4 Carbon 다음 2위입니다. Vals는 터미널 테스트 한 건에 0.21달러만 청구해, 이 등급에서 완료 작업당 비용이 가장 쌉니다.

    출처 ↗
  3. 3
    메타 Muse Ember (메타, 2026)

    한 모델 안에서 사무와 코딩이 갈립니다. AA의 업무 실행에서 68.1%이지만, 메타의 더 엄격한 표는 37.8%라고 합니다. 터미널에서는 Haiku를 40.9% 대 32.8%로 이기지만, 병합 가능한 코드에서는 Haiku에 27.2% 대 34.9%로 집니다.

    출처 ↗
  4. 4
    DeepSeek V4.1 Flash 1017 (딥시크, 공개 가중치, 2026)

    사무 업무 66.6%이고 MIT 공개 가중치라 직접 호스팅할 수 있습니다. 하지만 터미널 결과는 테스트 환경에 따라 뒤집힙니다. 자체 발표 42.3%, Vals 독립 실행 19.7%입니다.

    출처 ↗
  5. 5
    Claude Haiku 5.5 (앤트로픽, 2026)

    코드를 맡기기에 가장 좋은 모델입니다. FrontierCode 2.0에서 패치 중 34.9%가 관리자 테스트를 통과하며, 저가 경쟁 모델보다 약 10점 앞섭니다. 다만 사무 점수(35.4%)는 이 중 가장 낮습니다.

    출처 ↗
  6. 6
    GLM-5.3 (지푸 AI, 2026)

    Vals 터미널 표(38.9%)에서는 예산형 모델 중 최고입니다. 사무 업무도 62.2%입니다. 하지만 코그니션이 패치를 채점하지 않아서, 병합 가능성은 아직 열려 있습니다.

    출처 ↗
  7. 7
    구글 Gemini 3.8 Flash (구글, 2026)

    사무 업무 59.9%이고, 지능 팬들은 Opus급이라고 말합니다. 그러나 같은 모델이 Vals에서 터미널 테스트 한 건에 8.65달러가 들어, 예산형 계층에서 완료 작업당 비용이 가장 큽니다.

    출처 ↗
  8. 8
    GPT-6 Luna (OpenAI, 2026)

    사무 점수는 누가 채점하느냐에 따라 거의 세 배 차이가 납니다. 메타의 단일 시도 표에서는 20.2%이고, AA의 표준 실행에서는 53.2%입니다. 코그니션 표에서 병합 가능성은 23.8%입니다.

    출처 ↗
  9. 9
    Qwen3.8-27B (알리바바 Qwen, 공개 가중치, 2026)

    소형 계층의 GUI 전문 모델입니다. OSWorld-Verified 84.3%(전체 4위)이지만 Terminal-Bench 4.0은 5.1%입니다. 데스크톱 앱은 되고, 컨테이너 터미널은 안 됩니다.

    출처 ↗
  10. 10
    Kimi K3 (문샷 AI, 2026)

    경계할 사례입니다. 3달러/15달러 정가에도 코그니션의 병합 가능 코드 표에서 17.7%에 그쳤고, Vals 실행에서 터미널 테스트 한 건에 12.48달러가 들었습니다. 가격표만으로는 에이전트의 신뢰성을 살 수 없습니다.

    출처 ↗

Z.ai의 발견

소형 계층에서 데스크톱 기술과 터미널 기술은 거의 연관이 없습니다. Qwen3.8-27B는 OSWorld-Verified에서 84.3%로 4위지만, Terminal-Bench 4.0 작업은 5.1%만 해결합니다. 단계가 실제로 어디서 돌아가는지에 따라 고르십시오.

병합 가능한 코드는 모든 가격대에서 매우 어렵습니다. FrontierCode 2.0 선두인 Claude Opus 5.5조차 관리자 테스트를 49.1%만 통과하고, 저가 모델은 어느 것도 35%를 넘지 못합니다.

🇨🇳 Kimi10개 순위 · 메모 3개

같은 질문에 Kimi 혼자 답한 결과입니다. 위의 최종 목록은 모든 AI를 종합합니다.

  1. 1
    Claude Haiku 5.5 (2026)

    코드 부문에서 이기는 유일한 소형 모델입니다. FrontierCode 2.0 34.9%로 Muse Ember를 7.7점 앞서며, 터미널 39.2%도 얻습니다.

    출처 ↗
  2. 2
    메타 Muse Ember (2026)

    사무 업무 37.8%를 끝내 Haiku 비율의 2.7배입니다. 하지만 관리자 병합 테스트에서는 뒤집힙니다. 27.2% 대 Haiku의 34.9%입니다.

    출처 ↗
  3. 3
    GLM-5.3 (2026)

    공개 가중치 중 터미널 점수 최고(43.4%)입니다. 명령줄에서는 공개 모델이 폐쇄형 저가 경쟁 모델을 모두 앞섭니다.

    출처 ↗
  4. 4
    DeepSeek V4.1 Flash 1017 (2026)

    가장 싼 본격 코딩 선택지입니다. FrontierCode 2.0 19.3%이고 롤아웃당 0.38달러입니다. Terminal-Bench는 자체 발표 42.3%, 독립 측정 33.8%입니다.

    출처 ↗
  5. 5
    MiniMax M3.1 Flash (2026)

    Terminal-Bench 4.0에서 38.1%이고, 출력 가격은 약 0.60달러로 Luna와 같습니다. 그보다 22점 높습니다. 사무와 병합 코드 수치는 아직 발표되지 않았습니다.

    출처 ↗
  6. 6
    GLM-5.3-Flash (2026)

    Terminal-Bench 4.0에서 35.8%이고 작업당 0.36달러입니다. 저렴한 터미널 작업이 믿을 만해지기 시작하는 가격 대비 성능 지점입니다.

    출처 ↗
  7. 7
    GPT-6 Luna (2026)

    한 모델 안에서 사무와 코딩이 갈립니다. 비즈니스 업무에 강해서(AA 한 실행에서 AutomationBench-AA 53%, 메타의 더 엄격한 표에서 20.2%), Terminal-Bench는 16.4%입니다.

    출처 ↗
  8. 8
    구글 Gemini 3.5 Flash (2026)

    AutomationBench-AA 42.6%입니다. 출시 시점에 이 표에서 준최첨단 모델이 낸 사무 업무 수치 중 최고입니다.

    출처 ↗
  9. 9
    샤오미 MiMo-V2.6-Flash (2026)

    Terminal-Bench 4.0 24.2%이고 작업당 0.21달러입니다. 터미널 통과율은 가장 낮은 비용이지만, Vals는 코딩 과제의 3분의 2가 정답을 누설했을 수 있다고 확인했습니다.

  10. 10
    구글 Gemini 3.1 Flash-Lite (2026)

    사무 업무 작업 하나당 0.05달러 미만입니다. AutomationBench-AA 비용 범위의 바닥이며, 재시도 비용이 공짜인 단계에 맞습니다.

    출처 ↗

Kimi의 발견

사무와 코딩의 차이는 실제로 크고 뚜렷합니다. Muse Ember는 비즈니스 업무에서 Claude Haiku 5.5를 24점 앞서고(37.8 대 13.9), 병합 가능한 코드에서는 7.7점 집니다(27.2 대 34.9). 수신함에는 한 모델을, 저장소에는 다른 모델을 쓰십시오.

제작사 표는 부풀려집니다. DeepSeek V4.1 Flash 1017은 딥시크 자체 평가에서 Terminal-Bench 4.0 42.3%이지만, Artificial Analysis가 돌리면 33.8%입니다. 한쪽으로만 8.5점 차이가 납니다.

공개 가중치는 터미널 격차는 줄였지만 사무 격차는 줄이지 못했습니다. GLM-5.3(43.4%)과 DeepSeek V4.1 Flash(42.3%)가 Terminal-Bench 4.0에서 공개 가중치 모델을 이끌지만, 어떤 공개 모델도 AutomationBench-AA 상위에 보이지 않습니다.

🇨🇳 DeepSeek10개 순위 · 메모 2개

같은 질문에 DeepSeek 혼자 답한 결과입니다. 위의 최종 목록은 모든 AI를 종합합니다.

  1. 1
    메타 Muse Ember (메타, 2026)

    비즈니스 업무 상위권(엄격 기준 37.8%)이면서 터미널 작업도 경쟁력 있는(40.9%) 유일한 저가 모델입니다. 다만 코딩 패치의 27.2%만 병합될 것입니다.

    출처 ↗
  2. 2
    Claude Haiku 5.5 (앤트로픽, 2026)

    저가 계층의 병합 가능 코드 전문 모델입니다. FrontierCode 2.0 34.9%이지만, 사무 업무 엄격 기준은 13.9%에 그칩니다. 코드는 고쳐도 스프레드시트는 놓칩니다.

    출처 ↗
  3. 3
    DeepSeek V4.1 Flash 1017 (딥시크, 2026)

    터미널 전문 모델입니다. Terminal-Bench 4.0 42.3%와 AutomationBench v1.0.6 60.5%이지만, FrontierCode에서는 28%에 그칩니다. 명령 실행은 강하고, 병합할 패치를 만드는 것은 약합니다.

    출처 ↗
  4. 4
    MiMo-V2.6-Pro (샤오미, 2026)

    사무 업무에서 강한 모델로 AutomationBench-AA 59%, Terminal-Bench 35%입니다. 그러나 FrontierCode 24%라서 관리자가 패치를 되돌려 보낼 가능성이 높습니다.

    출처 ↗
  5. 5
    MiniMax M3.1 Flash (미니맥스, 2026)

    저가 모델 중 사무 업무 챔피언으로, AutomationBench-AA 72.5%입니다. 하지만 FrontierCode 21%, Terminal-Bench 26%에 그칩니다. 풀 리퀘스트 말고 스프레드시트를 맡기십시오.

    출처 ↗
  6. 6
    GPT-6 Luna (OpenAI, 2026)

    작업당 비용(0.15달러)이 낮은 대신 사무와 터미널 결과가 약합니다. AutomationBench 엄격 기준 20.2%, Terminal-Bench 16.4%, FrontierCode 25.2%입니다.

    출처 ↗
  7. 7
    GLM-5.3-Flash (지푸 AI, 2026)

    AutomationBench 60%라서 사무 단계를 맡길 만합니다. 하지만 FrontierCode 15%, Terminal-Bench 33%라서 저장소 작업에는 맞지 않습니다.

    출처 ↗
  8. 8
    Ling 3.0 Flash (InclusionAI, 2026)

    작업당 약 0.054달러로, 이 그룹에서 사무 작업이 가능한 가장 싼 모델입니다. AutomationBench 53%이지만, FrontierCode는 11~15%, Terminal-Bench는 32.4%입니다.

    출처 ↗
  9. 9
    구글 Gemini 3.8 Flash (구글, 2026)

    높은 강도에서 AutomationBench 60%입니다. 하지만 FrontierCode 19%, Terminal-Bench 20%에 그칩니다. 사무 능력이 병합 가능한 코드로 이어지지 않는다는 좋은 예입니다.

    출처 ↗
  10. 10
    Nanbeige4.3-33B (난베이거, 2026)

    Qwen3.8 27B보다 AutomationBench에서 앞서는(53% 대 48%) 소형 공개 가중치 모델입니다. 하지만 FrontierCode에서는 11%로 떨어집니다. 사무 도우미로는 쓸모 있지만, 관리자가 병합할 후보는 아닙니다.

    출처 ↗

DeepSeek의 발견

Muse Ember는 저가 사무 업무 표에서 엄격 기준 AutomationBench 37.8%로 앞서지만, FrontierCode 27.2%는 차이를 분명히 보여 줍니다. 30단계 비즈니스 절차를 끝내는 모델이, 풀 리퀘스트를 검토하는 관리자가 원하는 모델은 아닙니다.

MiniMax M3.1 Flash는 AutomationBench-AA에서 72.5%로 Muse Ember보다 높지만, FrontierCode에서는 21%에 그칩니다. 저가 계층에서 사무 업무와 병합 가능한 코드는 실제로 다른 기술입니다.

🇨🇳 Wenxin10개 순위 · 메모 1개

같은 질문에 Wenxin 혼자 답한 결과입니다. 위의 최종 목록은 모든 AI를 종합합니다.

  1. 1
    앤트로픽 Claude Haiku 4.5 (2026)

    사무 업무를 이끌고 코드 테스트도 통과합니다. 두 가지를 모두 잘하는 유일한 소형 모델입니다

  2. 2
    OpenAI GPT-4o mini (2026)

    소형 모델 가운데 터미널 작업을 가장 잘 끝냅니다. 하지만 사무 단계와 병합 가능한 코드는 Haiku에 뒤집니다

    출처 ↗
  3. 3
    구글 Gemini 2.5 Flash-Lite (2026)

    저가 계층의 사무 업무 왕입니다. 코드 병합 비율은 거의 움직이지 않습니다

    출처 ↗
  4. 4
    메타 Muse Ember (2026)

    사무에는 충분하지만, 병합 가능한 코드는 약합니다. 30단계 작업이 강점입니다

  5. 5
    DeepSeek-V3 Lite (2026)

    사무 점유율보다 패치가 더 자주 통과합니다. 대부분의 소형 모델과 반대입니다

  6. 6
    Mistral Small 3.1 (2026)

    믿을 만한 이중 언어 사무 모델입니다. 코드 병합 비율은 4개 패치 중 1개에도 못 미칩니다

    출처 ↗
  7. 7
    코히어 Command R+ 08-2026 (소형)

    사무와 RAG 업무에서 앞섭니다. 코드와 터미널은 뒷전입니다

    출처 ↗
  8. 8
    Qwen 3 4B (2026)

    터미널 작업을 싸게 처리합니다. 하지만 사무 업무와 코드 병합은 모두 모자랍니다

  9. 9
    마이크로소프트 Phi-4 Mini (2026)

    이 목록에서 가장 작은 두뇌입니다. 사무, 코드, 터미널 모두 25% 아래입니다

  10. 10
    스태빌리티 AI Stable LM 2 1.6B (2026)

    사무 업무 28%, 코드 11%입니다. 싸기는 하지만, 에이전트에 맡길 준비는 아닙니다

Wenxin의 발견

FrontierCode 2.0 관리자 테스트를 38% 넘게 통과하는 소형 모델은 없습니다. 가장 좋은 Haiku 4.5(38%)도 병합 가능한 패치 10개 중 6개를 실패합니다. '소형'은 여전히 '초안이지, 병합 가능한 완성본이 아니다'라는 뜻입니다

🇨🇳 Qwen10개 순위 · 메모 2개

같은 질문에 Qwen 혼자 답한 결과입니다. 위의 최종 목록은 모든 AI를 종합합니다.

  1. 1
    구글 Gemini 4 Argon

    SaaS 자동화 차트에서 앞서지만, 실제 관리자의 코드 검토에서는 멈춥니다.

    출처 ↗
  2. 2
    메타 Muse Ember

    에이전트가 하루 종일 하는 반복적인 API 호출과 라우팅을 위해 만들어졌습니다.

    출처 ↗
  3. 3
    알리바바 Qwen 2.5 Coder 32B

    터미널 작업과 병합 가능한 패치에서 가장 강한 공개 소스 모델입니다.

    출처 ↗
  4. 4
    앤트로픽 Claude Haiku 5.5

    앤트로픽의 안전 장치 덕분에 SaaS 업무 규칙을 어기지 않습니다.

  5. 5
    OpenAI GPT-4o-mini

    터미널 명령의 믿을 만한 대안입니다. 다만 까다로운 병합 기준에는 약합니다.

    출처 ↗
  6. 6
    메타 Llama 3.3 70B / 3.1 8B

    터미널의 잡일을 맡기기에 기본적인 로컬 선택입니다. SaaS 조율에서는 뒤처집니다.

    출처 ↗
  7. 7
    Mistral Large 4 / Small

    FrontierCode의 엄격한 채점 기준에서 체급 이상의 성적을 냅니다.

    출처 ↗
  8. 8
    알리바바 Qwen 2.5 7B

    Zapier 식 업무 흐름으로 제한하면 놀랄 만큼 유능한 사무 도우미입니다.

  9. 9
    DeepSeek Coder V2 / V3-Lite

    터미널 자동화에는 강하지만, 여러 앱에 걸친 업무 논리에서는 힘들어합니다.

    출처 ↗
  10. 10
    구글 Gemma 2 9B

    가벼운 로컬 브라우저 작업에는 안전하지만, 복잡한 명세에서는 쉽게 혼란스러워합니다.

Qwen의 발견

AutomationBench-AA와 FrontierCode 2.0은 서로 반대되는 능력을 잽니다. 구글 Gemini 4 Argon은 사무 업무(77.5%)를 압도하지만, 실제 관리자 코드 병합에서는 26.3%에 그칩니다.

Terminal-Bench 4.0은 명령줄에 익숙한 모델에 유리합니다. Qwen 2.5 Coder 32B는 65.2%를 얻습니다. 터미널 에이전트에는 GUI 에이전트와 다른 학습이 필요하다는 뜻입니다.