자신의 업무를 위한 AI 도구를 선택하는 방법 — 연구 노트
이 문서는 번역본입니다. 기준이 되는 판본은 영어 원문이며, 인용할 때는 원문을 사용해 주세요.
오늘날 AI 도구를 선택하는 사람은 누구나 많은 선택지와 자신감 있는 조언들에 직면합니다. 리뷰가 도움이 될 수 있지만, 어느 리뷰도 당신의 작업을 본 적이 없습니다. 이 노트는 타당성 있는 선택 방법을 설명하며, 이는 그 방법이 나온 논문의 한 가지 아이디어에 근거합니다: 여러 AI가 합의할 때, 그것은 여러 독립적인 증인과 같지 않습니다.
리뷰부터 시작한 후 자신의 작업에서 테스트해보세요
비교 기사는 합리적인 첫 번째 단계입니다. 어떤 도구들이 존재하는지, 각각 무엇으로 알려져 있는지, 그리고 사람들이 어디에서 의견이 다른지를 보여줍니다. 예를 들어, top10ai.com은 Poly Duo에 대해 Claude vs ChatGPT 비교에서 작성했으며, 같은 사이트는 코드를 작성하지 않고 소프트웨어를 만들고 싶은 사람들을 위한 도구 목록을 유지하고 있습니다: best AI app builder. 이러한 목록들은 무엇을 시도해볼지 알려줍니다. 하지만 이번 주에 실제로 해야 할 일에 어떤 도구가 맞는지는 알려줄 수 없습니다.
따라서 자신이 판단할 수 있을 정도로 충분히 작은 실제 작업 하나를 선택하여 동일한 요청을 2~3개의 도구에 보내보세요. 초안 이메일, 스프레드시트 공식, 짧은 계획, 작은 앱의 초판본 같은 것입니다. 그 다음 결과들을 나란히 읽어보세요. 톤의 차이, 각 도구가 가정한 것, 그리고 빠뜨린 것들의 차이가 보일 것이며, 이러한 차이들이 당신의 작업에 중요한 것들입니다.
자신감 있는 답변이 올바른 답변은 아닙니다
이 논문은 선반에 있는 모든 도구에 적용되는 요점을 제시합니다. 한 언어 모델에 질문을 하는 사람은 자신감 있게 잘못된 답변과 자신감 있게 올바른 답변을 구별할 수 없습니다. 표면상 두 가지가 같아 보이기 때문입니다. 여러 모델에 묻는 것이 이 문제를 해결하는 것처럼 보이지만, 대부분 문제를 이동시킬 뿐입니다. 모두 같은 말을 하면, 이제 "여러 개가 동의했다"는 빌려온 권위를 지닌 하나의 자신감 있는 텍스트를 갖게 됩니다.
이유는 모델들이 학습 데이터와 습관을 공유하기 때문에 그들의 실수는 상관관계가 있습니다. 이 논문은 일곱 개의 모델 계열에서 나온 아홉 명의 프론티어 판사 패널에 대한 측정값이 약 두 개의 독립적인 투표에 해당한다는 것을 인용하고 있으며(Kohli, 2026), 최고의 단일 판사가 전체 패널과 동등하거나 이를 능가했다는 발견이 있습니다. 같은 종류의 모델을 더 추가해도 훨씬 더 많은 확실성을 얻을 수 없습니다. 논문의 평의회가 가치 있는 독립적인 증인의 수에 관한 섹션과 상한선에 관한 섹션을 참조하십시오.
의견이 다를 수 있는 두 번째 의견을 활용합니다
도움이 되는 것은 이상적으로는 다른 회사의 AI로, 의견을 달리할 수 있는 두 번째 AI입니다. 일상적인 사용에서는 두 가지 습관만으로 충분합니다:
- 두 번째 도구에 첫 번째 답변을 확인하도록 요청하고 변경할 사항을 모두 지적하도록 하되, 확인해달라고 요청하지는 않습니다.
- 의견의 차이를 유지합니다. 두 답변이 다르면, 그 부분이 자세히 살펴보고, 출처를 확인하거나 사람에게 물어봐야 할 곳입니다.
이 논문은 두 번째 의견을 수집하는 두 가지 방법을 구분합니다: 두 번째 모델이 첫 번째 답변을 보지 못하는 맹검 방식과, 이를 보는 정보 제공 방식입니다. 정보 제공 방식은 구체적인 오류를 포착할 수 있고, 맹검 방식은 두 답변을 더 독립적으로 유지합니다. 각각은 다른 것을 위해 무언가를 거래하며, 맹검 및 정보 제공 추출에 대한 논의가 그 거래 관계를 설명합니다. 이 논문은 또한 자신의 한계를 지적합니다: 병합된 답변이 최고의 단일 답변을 능가한다는 주장은 설계 및 관련 연구에서 도출되었으며, 제안된 평가는 아직 실행되지 않았습니다.
간단한 체크리스트
- 리뷰를 사용하여 두 세 개의 도구를 단축 목록으로 작성합니다.
- 각 도구를 통해 동일한 실제 작업을 실행하고 결과를 직접 비교합니다.
- 당신의 작업에 맞는 것을 선택한 후, 중요한 모든 것에 대해 다른 회사의 도구에게 그 출력을 확인하도록 요청합니다.
- 동의를 증거가 아닌 힌트로 취급하고, 잘못되면 비용이 드는 사실을 확인합니다.
우리 앱인 Poly Duo는 두 번째 의견 습관을 중심으로 구축되었습니다. 서로 다른 회사의 두 AI가 당신의 휴대폰에서 서로의 작업을 확인하므로, 교차 확인에 복사 및 붙여넣기 대신 탭이 필요합니다. 하지만 이 방법은 어떤 하나의 앱에도 의존하지 않습니다. 두 개의 도구를 사용하여 수동으로 수행할 수 있으며, 이 논문은 정확히 어떻게 하는지 설명합니다.
Vadym Chernets는 또한 서로 다른 회사의 AI가 서로의 작업을 확인하는 앱인 Poly를 구축합니다.