도구

AI 비용 줄이는 방법: 필요한 결정에만 모델 사용료 지불 — 도구

이 문서는 번역본입니다. 기준이 되는 판본은 영어 원문이며, 인용할 때는 원문을 사용해 주세요.

Vadym Chernets · open source · 6 min read

Decidecall은 회사가 반복해서 내리는 작은 결정(이 메시지를 받을 팀, 승인 또는 반송, 긴급 여부)을 가져와서 각 결정을 확실한 가장 저렴한 것으로 답변합니다. 이전에 제공된 답변이 먼저 나오고, 그 다음 간단한 규칙이 나오며, 자신의 컴퓨터에서 실행되는 모델이 나옵니다. 남은 것만 유료 모델로 가고, 모델이 확실하지 않은 것은 사람에게 갑니다. 사람의 답변은 기억되므로 같은 질문이 두 번 비용을 들이지 않습니다.

Decidecall은 Claude Code, Anthropic의 AI 어시스턴트용 무료 오픈 소스 플러그인입니다. 컴퓨터의 파일로 작업합니다. 계정, 카드, AI를 호출하는 데 프로그램이 사용하는 액세스 코드(API 키)가 필요하지 않습니다. 유료 모델은 회사가 이미 설치하고 로그인한 프로그램을 통해 도달합니다.

대부분의 의사결정이 모델을 필요로 하지 않는 이유

AI로 시작하는 많은 팀들이 모든 메시지를 모델로 보냅니다. 이것은 작동하지만, 같은 답변을 계속해서 비용을 지불합니다: "내 송장은 어디에 있나요?"라는 질문이 매일 지원 수신함에 도착하고, "송장"이라는 단어만으로도 이미 청구 부서로 가야 한다는 것을 알 수 있습니다. Tian Pan은 설명합니다 팀이 몇 개월 동안 지원 티켓을 라우팅하기 위해 모델을 실행했다가 티켓의 70%가 제목 줄에 제품명을 포함하고 있다는 것을 알아챘으며, 간단한 조회 테이블이 99% 정확도로 라우팅했을 것이라고 합니다.

연구자들은 같은 개념을 규모 있게 측정했습니다. Stanford의 FrugalGPT는 저렴한 모델을 먼저 사용하고 답변이 약해 보일 때만 더 강력한 모델로 올라갑니다. 최고의 단일 모델과 일치하면서 "최대 98% 비용 절감"을 달성했습니다. LMSYS의 RouteLLM은 각 질문에 대해 강력한 모델이나 약한 모델을 선택하며, 한 벤치마크에서 비용을 85% 이상 절감하면서 GPT-4 품질의 95%를 유지했습니다.

체인이 작동하는 방식

모든 결정은 동일한 6개의 링크를 거치며 충분히 확실한 첫 번째 링크에서 멈춥니다:

• 캐시: 이미 제공된 답변입니다. 대소문자, 공백, 구두점이 다르더라도 정확한 반복이 발견됩니다. 컴퓨터에 설치된 작은 임베딩 모델(예: Ollama의 nomic-embed-text)을 사용하면 다르게 표현된 질문도 찾을 수 있습니다: "내 카드가 두 번 청구된 이유는?"이라는 질문이 "이번 달에 두 번 청구되었습니다"라는 답변을 찾습니다.
• 규칙: 답변을 결정하는 단어로, 한 번만 작성됩니다: "invoice", "refund" 또는 "charged"는 청구를 의미합니다. 두 규칙이 다른 답변을 가리킬 때, 추측하기보다는 침묵을 유지합니다.
• 로컬 모델: 자신의 컴퓨터에서 실행되는 모델로, 모든 결정에 무료입니다.
• 저렴하고 강력한 클라우드 모델: 유료 모델로, 허용되는 가장 저렴한 모델부터 시작합니다.
• 한 사람: 결정을 소유한 사람으로, 지금까지의 최선의 추측이 표시됩니다.

각 링크는 결정과 신뢰도(0에서 1 사이의 숫자)로 응답합니다. 0.95 이상이면 답변이 채택됩니다. 그 아래라면 다음 링크가 요청되며, 두 가지 다른 출처가 동의할 때(최소한 하나가 0.70 이상 확실할 때) 이것이 결정됩니다. 동일한 모델 계열을 실행하는 두 링크는 서로를 확인하지 않으며, 캐시의 의미 일치는 다른 링크가 확인해야 하는 제안일 뿐입니다. 확실하지 않을 때는 한 사람이 결정하고, 그 답변은 캐시에 저장됩니다. 두 임계값 모두 변경할 수 있습니다.

결정의 한 종류는 작은 파일입니다: 질문, 가능한 답변, 이를 결정하는 단어 및 링크가 확실해야 하는 정도입니다. 동일한 형식은 지원 메시지 정렬, 경비 청구에서 "승인 또는 반려", 수신 메일에서 "긴급 또는 아님"에 작동합니다.

실제 사례: 65건의 지원 메시지

저장소에는 4개 팀(청구, 기술, 계정 및 영업)을 위한 지원 수신함이 포함되어 있습니다. 실제 지원처럼 반복되는 고객 메시지 65건이 있습니다. 2026년 10월 2일에 체인을 두 번 측정했습니다(전체 결과):

모델이 전혀 없으면 수신함의 절반 이상이 실수 없이 무료로 정렬되었습니다(2026년 10월 10일에 같은 결과로 다시 실행). Anthropic의 소형이고 빠른 모델인 Claude Haiku 4.5를 추가하니 6건의 메시지만 사람이 처리하게 되었습니다.

보고서는 작동하지 않은 것에 대해서도 명확합니다. Haiku가 98% 확신하면서 두 번 오류를 범했습니다. "5분마다 로그아웃된다"는 기술 팀 대신 계정 팀으로 보내졌고, 그 반복도 마찬가지였습니다. 정확히 이것이 체인이 모델의 반복된 답변을 신뢰하기 전에 두 번째, 다른 출처에 물어보는 이유입니다. 65가지 사례는 처음 읽는 것입니다. 이 도구는 자신의 과거 결정 중 몇 백 가지에 대해 같은 측정을 실행하도록 구축되었습니다.

어떤 기능을 하는지

• 결정: 한 가지 질문을 결정합니다: 답변, 어떤 링크를 거쳤는지, 확신도, 비용.
• 라벨 지정: 사람의 답변이 캐시에 저장되므로 다음 번에는 무료입니다.
• 승격: 모델들이 같은 방식으로 계속 내린 결정이 서로 다른 두 개의 모델 계열에 의해 확인되면, 당신이 동의한 후 캐시 항목이 됩니다. 한 가지 답변하고만 함께 나온 단어들은 새로운 규칙으로 제안됩니다.
• 벤치: 당신이 라벨을 지정한 과거 결정들이 체인을 통해 실행되어, 사람 없이 결정된 것이 몇 개인지, 올바른 것이 몇 개인지, 신뢰도 수치가 얼마나 정직한지, 그리고 한 가지 결정의 비용을 모든 것을 한 모델에 보내는 것과 비교해서 보여줍니다.
• 후보: 링크 뒤에 있을 수 있는 14개의 프로그램과 서비스, 각각의 라이센스와 소스 페이지.

의사결정 모델을 바로 연결할 수 있습니다

이 작업을 위해 정확히 설계된 새로운 종류의 모델이 나타났습니다. 2026년 9월에 발표된 TypeSafe의 Jev는 텍스트를 작성하지 않으며, 상황과 선택지가 있는 질문을 받아서 선택된 옵션을 확률과 함께 반환하며, 입력 토큰 100만 개당 $0.042입니다 (DataCamp). 같은 종류의 오픈 모델은 자신의 컴퓨터에서 실행됩니다. Strands Decider는 제작자들이 "0.9 이상의 신뢰도로 답변한 결과가 약 95% 정확하다"고 보고하고 있으며, Ollama 0.35 이후로는 로컬에서 모델을 실행하기 위한 무료 도구인 Ollama가 제공하는 의사결정 모델도 있습니다. Decidecall은 이 인터페이스를 직접 사용할 수 있을 뿐만 아니라 일반적인 로컬 모델(Ollama, llama.cpp, vLLM, LM Studio)과 이미 보유하고 있는 Claude Code를 통한 Claude도 지원하며, bench는 자신의 데이터에서 각각이 어떤 성능을 제공하는지 보여줍니다.

데이터와 금액에 대한 규칙

Decidecall은 다른 회사 플러그인과 같은 회사 정책 파일을 읽습니다:

• 민감한 데이터는 컴퓨터에 유지됩니다. 의사 결정을 빨간색으로 표시하면 캐시, 규칙 및 로컬 모델로만 이동합니다. Decidecall은 텍스트 자체가 아닌 텍스트의 지문만 유지합니다.
• 허용한 공급업체만, 또는 응답 후 아무것도 보관하지 않는 공급업체만 사용합니다.
• 일일 예산: 예산을 초과할 유료 링크는 건너뛰며, 무료 링크는 계속 작동합니다.
• 키는 키체인에 유지되며 파일에 절대 저장되지 않습니다.

Python과 Python 이상의 것을 필요로 하지 않으며 자체적으로 네트워크 연결을 열지 않는 단일 Python 파일이므로, 인터넷이 차단된 컴퓨터에서도 실행됩니다.

시작하는 방법

Claude Code에서 Poly A1 카탈로그를 추가하고 Decidecall을 설치합니다 (git과 GitHub 계정이 필요하지 않습니다):

/plugin marketplace add https://raw.githubusercontent.com/vadimchernets/poly-a1-plugins/main/.claude-plugin/marketplace.json
/plugin install decidecall@poly-a1

그런 다음 당신이 원하는 결정을 당신의 말로 표현합니다: "support 메시지를 team별로 정렬", 또는 "Strands Decider가 우리에게 가치가 있는가". Claude는 한 번에 하나씩 질문합니다(무엇을 결정할 것인지, 가능한 답변, 어떤 단어가 답변을 확실하게 하는지, 얼마나 확실해야 하는지) 그리고 당신과 함께 task 파일을 작성합니다. 그런 다음 어떤 비용도 지불되기 전에 당신의 과거 결정에 대해 bench를 실행합니다. Decidecall은 Python 3.8 이상이 필요하며 Mac, Linux 및 Windows에서 작동합니다.

코드, 예시 inbox 및 측정: github.com/vadimchernets/decidecall.

어디에 적용되는가

Decidecall은 Poly A1 plugins 카탈로그의 회사 플러그인 중 하나입니다. Routecall과 함께 작동하며, 여기서 강력한 모델이 계획하고 저렴한 모델들이 대량 작업을 처리합니다. 또한 AI가 회사에 드는 비용을 계산하는 Billcall, 그리고 공유 정책 파일을 작성하는 Firmcall과 함께 작동합니다. Decidecall은 Vadym Chernets가 개발했으며, Apache-2.0 라이선스로 배포되고 Zenodo에 아카이브되어 있습니다(DOI 10.5281/zenodo.23116720).

GitHub에서 decidecall 보기

Vadym Chernets는 또한 서로 다른 회사의 AI들이 서로의 작업을 검토하는 앱인 Poly A1을 개발합니다.