Poly
한국어

도구

여러 AI에게 동시에 질문하고 의견이 다른 부분 확인하기 — 도구

이 문서는 번역본입니다. 기준이 되는 판본은 영어 원문이며, 인용할 때는 원문을 사용해 주세요.

Claude Code, Codex, Gemini, Grok에 같은 질문을 동시에 물어보고, 주장별로 답변을 비교하며 어떤 의견의 합의가 가치 있는지 확인하세요. 무료, API 키 불필요.

Vadym Chernets · 오픈소스 · 6분 읽기

GitHub에서 보기github.com/vadimchernets/after-chat

AI 에이전트와 업무

한 가지 질문이 Claude, Codex, Gemini, Grok에 동시에 전송됩니다. 캔버라가 수도라는 것에는 네 AI 모두 동의하지만, 연도는 세 가지(1908년, 1913년, 1927년)로 나뉘며, 네 AI를 합쳐도 약 1.6개의 독립적인 의견만큼의 가치가 있습니다.
전체 다이어그램을 보려면 스와이프하거나, 열려면 탭하세요

AI 한 개에 질문하면 자신감 있는 답변 하나를 얻지만 그것이 맞는지 알 수 있는 쉬운 방법이 없습니다. 두 번째, 세 번째 AI에 묻는 것이 도움이 되지만, 답변이 어디서 다른지 볼 수 있을 때만, 그리고 그들의 의견의 합의가 실제로 어느 정도 가치가 있는지 알 때만 도움이 됩니다. After Chat은 한 가지 질문을 여러 AI에 동시에 던지고 둘 다 수행하는 작은 무료 오픈소스 Python 스크립트 세트입니다. 누가 무엇을 말했는지 보여주고, 그들의 의견의 합의가 어느 정도 가치가 있는지 계산합니다. 이것은 당신의 컴퓨터에서 실행되며, 이미 로그인한 AI 도구를 통해 작동하고, API 키나 추가 구독이 필요 없으며, 스크립트 자체는 Python만 필요합니다.

하나의 AI로는 부족하고, 네 개의 AI가 네 개가 아닙니다

다양한 회사의 AI 모델들은 서로 다르게 학습되기 때문에 항상 같은 실수를 하지는 않습니다. 그래서 사람들은 하나의 질문을 ChatGPT, Claude, Gemini, Grok에 복사해서 답변을 손으로 비교합니다. 그들의 실수들은 보기보다 더 겹치곤 합니다. 350개 이상의 언어 모델을 조사한 2025년 연구에서 두 모델이 모두 틀렸을 때 같은 잘못된 답변을 주는 경우가 많다는 것을 발견했습니다: 한 리더보드 데이터셋에서는 60%의 경우였습니다. 따라서 네 개의 AI가 동의할 때 당신은 네 개 미만의 독립적인 확인을 가지게 됩니다. 여러 개를 묻는 것의 진정한 가치는 불일치입니다: 하나의 AI만 제기한 지점, 또는 다른 수치가 들어간 같은 주장입니다.

실제 사례

2026년 9월 21일에 저자는 네 개의 AI 명령줄 도구에 한 가지 질문을 제시했습니다: "한 문장으로: 호주의 수도는 무엇이며, 언제 수도가 되었습니까?" 네 도구 모두 25초 이내에 응답했으며, 모두 캔버라라고 답했습니다. 연도에 대해서는 세 가지로 나뉩니다: 1908년, 1913년, 1927년입니다. 각 연도는 방어할 수 있습니다: 부지는 1908년에 선택되었고, 도시는 1913년에 명명되었으며, 의회는 1927년에 그곳으로 이전했습니다. 단독으로 물어봤다면 Codex는 1927년을, Grok은 1913년을 각각 평범한 사실로 제시했을 것입니다. 나란히 놓으면, 그 답변들은 이 질문이 세 가지의 정당한 답변을 가지고 있음을 즉시 보여주었으며, 사람이 확인해야 할 정확한 지점을 가리켜 줍니다.

내부에 포함된 것

왜 이렇게 구축되었는가

많은 "LLM 위원회" 도구들은 하나의 병합된 답변으로 끝납니다. 예를 들어, Andrej Karpathy의 인기 있는 llm-council은 OpenRouter라는 API 서비스를 통해 당신의 질문을 모델들에게 전송하며, 이 서비스에 대한 크레딧을 구매해야 하고, "의장" 모델이 최종 답변을 작성하게 합니다. After Chat은 당신이 이미 자신의 계정으로 사용하는 명령행 도구들을 거쳐 진행되며, 의도적으로 병합 전에 중단됩니다: 누가 무엇을 말했는지에 대한 표를 얻게 되고, 판단은 당신에게 남습니다. 모든 스크립트는 Python의 표준 라이브러리만 사용하며 하나의 짧은 파일에 맞습니다(가장 긴 파일은 200줄 미만이므로), 정확히 어떤 작업을 하는지 읽을 수 있고 이를 변경할 수 있습니다.

시작하는 방법

스크립트는 Python 3이 실행되는 모든 곳에서 실행됩니다. Windows에서는 WSL 내에서 fanout.py를 실행합니다. 실시간 비교에는 자신의 계정으로 로그인한 두 개 이상의 AI 명령줄 도구가 필요합니다. 기본 제공 목록에는 Claude Code(claude), OpenAI Codex(codex), Google의 Antigravity CLI(agy, 2026년 6월 18일에 개인 Google 계정에 대해 Gemini CLI에서 인수했음) 및 xAI의 Grok Build(grok)가 포함됩니다. 각 도구의 명령은 --tools와 함께 전달되는 작은 JSON 파일의 한 줄이므로 다른 도구를 추가하거나 새로운 버전에서 변경된 플래그를 따르는 것은 1분이면 됩니다. 명령줄 도구가 없으신가요? 모든 AI 채팅 웹사이트의 답변을 .txt 파일에 붙여넣고(AI마다 하나씩), 해당 폴더에서 provenance.py를 실행하면 각 파일의 이름이 표의 한 열이 됩니다.

git clone https://github.com/vadimchernets/after-chat
cd after-chat
python3 neff.py --demo                       # what four agreeing AIs are worth
python3 fanout.py "Your question" --out run  # ask every live AI at once
python3 provenance.py run                    # who said what, and where they differ

28개의 테스트는 python3 -m unittest tests/test_patterns.py로 실행됩니다. 코드, 테스트 및 안전 설정은 모두 github.com/vadimchernets/after-chat에 있습니다.

어디서 나왔는가

After Chat는 Vadym Chernets의 논문 After Chat: Non-Programmers와 Agentic AI 사이의 세 가지 전환(2026년 9월, SSRN 7520019, DOI 10.2139/ssrn.7520019)의 부수 코드입니다. 이 논문은 AI와의 대화에서 AI 에이전트가 일하도록 하는 단계로 옮겨간 사람들이 왜 이렇게 적은지, 그리고 그 이동을 어떻게 측정할 것인지를 묻습니다. 이 코드는 MIT 라이선스 아래에 있으며 Zenodo에 아카이브되어 있습니다(DOI 10.5281/zenodo.22944451). 동일한 패턴에서 나온 두 가지 즉시 사용 가능한 Claude Code 플러그인이 있습니다: Sidecall은 컴퓨터의 AI 명령줄 도구에 묻고, Roundcall은 자신의 브라우저를 통해 AI 채팅 사이트에 묻습니다.

GitHub에서 after-chat 보기

Vadym Chernets는 또한 Poly A1을 개발합니다. 이것은 서로 다른 회사의 AI들이 서로의 작업을 검증하는 앱입니다.

모든 도구 · 모든 논문과 노트