AI 모델은 이미 주장과 행동을 구분하고 있을까?
함께: Mark Goodbody · 시스템 엔지니어, 영국 · Mechanical Ethics와 TRACE의 저자

30초 요약
Mark Goodbody는 영국의 시스템 엔지니어입니다. Mechanical Ethics와 TRACE라는 두 편의 공개 텍스트를 쓰는데, 모든 걸 알 수 없는 상황에서 결정을 내릴 때 사람과 AI가 생각을 정리하도록 돕는 글입니다. 우리가 실제로 아는 게 뭔지, 그게 어디서 왔는지, 무엇이 있으면 방향을 바꿀지를 짚습니다.
그는 Poly Duo를 스스로 찾아냈고, 예제 하나를 바꿔 보면서 서로의 작업 방식이 그걸 어떻게 다루는지 보자고 제안했습니다. 그래서 새 사례를 세 개 썼고, 우리는 사례마다 ChatGPT와 Claude에게 두 번씩 줬습니다. 한 번은 질문만, 한 번은 그의 두 텍스트를 앞에 붙여서요.
여섯 번을 돌렸는데 주요 구분은 두 버전 모두에 나타났습니다. 그의 텍스트가 없어도 모델들은 "지금 말할 수 있는 것"과 "지금 해야 할 일"을 따로 다뤘어요. 이 실행들로는 Mechanical Ethics와 TRACE를 더해서 얻는 이점이 확인되지 않았습니다. 다만 버전 사이에 달라진 곳도 있었습니다. 고객에게 하는 제안, 그리고 첫 채용 결과의 표현입니다. Mark는 지금 자기 모델들로 답을 읽고 있습니다. 그의 프레임워크가 차이를 만든다면, 아마 다른 종류의 질문에서일 겁니다.
어디서 시작됐나
Mark는 우리도 신경 쓰는 문제를 붙들고 있습니다. 두 모델이 동의하면, 둘이 같은 틀린 전제 위에 서 있어도 독립적인 확인처럼 보인다는 것. 그의 텍스트는 결과를 남에게 넘길 때 세 가지가 계속 눈에 보이게 하려고 합니다. 주장이 어디서 왔는지, 얼마나 확신할 수 있는지, 어떻게 반박할 수 있는지.
Poly Duo는 ChatGPT와 Claude가 어디서 엇갈리는지 화면에 그대로 보여 주는데, 그가 눈여겨본 게 바로 그 점이었어요. 그래서 만드는 사람끼리 짧게 바꿔 보자고 했습니다. 예제 하나를 골라 각자의 방식이 그걸 어떻게 다루는지 보자는 거죠.
누가 무엇을 했나
- Mark가 사례를 썼습니다. 처음은 첫 주니어 채용을 고민하는 작은 회사, 이어서 하나씩 아이디어를 시험하는 새 사례 세 개였어요. 그의 텍스트를 붙였을 때와 뺐을 때로 돌려 보자고 한 것도 그였고, 차이가 없는 곳도 똑같이 궁금하다고 했습니다.
- 우리는 모든 사례를 Duo 바로가기와 똑같은 단계로 돌렸습니다. ChatGPT가 답하고, Claude는 그 답을 보지 않고 답하고, 세 번째 대화가 둘을 비교합니다. 바로가기가 보내는 프롬프트 문구를 그대로 썼고, 모든 답을 손대지 않고 보관했으며, 사례마다 무엇이 바뀌고 무엇이 그대로인지 Mark에게 메모를 남겼습니다.
- Mark는 지금 그 답들을, Mechanical Ethics와 TRACE 작업에 쓰는 자기 모델들과 함께 읽고 있습니다.
첫 번째 사례: 조건에 달린 채용
여섯 명짜리 IT 지원 회사가 6주 뒤에 첫 주니어를 뽑으려 합니다. 모두 일정이 꽉 차 있고, 새 고객이 금요일까지 답을 달라고 합니다. 솔직한 답은 한 가지 조건에 달려 있습니다. 감독할 시간이 실제로 있는 사람이 있어야만 이 채용이 성립한다는 것입니다.
두 모델 모두 사실관계는 잘 다뤘습니다. 재미있는 대목은 비교 단계에서 나왔어요. 조건부 표현이 약해졌습니다. "가르칠 사람이 있다면 채용"이 "채용한 뒤 가르칠 사람의 시간을 찾기"에 가깝게 읽혔어요. 경고는 그대로 남아 있었고 무조건적인 약속도 나타나지 않았지만, 조건이 덜 단단하게 서술됐습니다.
읽는 사람은 이런 미끄러짐을 절대 눈치채지 못합니다. 이게 다음 라운드를 정했습니다.
세 사례, 각각 두 버전
Mark는 이어서 사례 세 개를 썼고, 각각 기본 버전과 변경 버전이 있습니다.
- 대피소. 폭풍이 오고 있고, 한 섬이 긴급 대피소를 골라야 합니다. 일부 주민은 계단 없이 들어갈 수 있어야 해요. 세 조언자가 모두 2년 전의 같은 시청 지도를 보고 학교를 추천합니다. 네 번째 조언자는 회관을 추천하며 오늘 자 검증된 점검 결과를 가져옵니다. 학교의 유일한 단차 없는 출입구가 닫혀 있다는 내용이에요. 그다음엔 같은 사례에서, 그 점검을 아무도 검증하지 않은 경우입니다.
- 감독자. 다시 주니어 채용인데, 이번엔 계약을 맺고 확인까지 된 외부 엔지니어가 감독을 맡습니다. 그다음엔 같은 엔지니어가 그냥 거론만 됐을 뿐 확인된 게 없는 경우입니다.
- 상황이 바뀔 때. 채용하기로 한 결정은 당시엔 말이 됐습니다. 그런데 시작 2주 전에 감독자가 빠집니다. 그다음엔 확인된 후임이 나타납니다.
사례마다 Duo를 두 번씩 거쳤습니다.
결과
| 사례 | A의 결정 | B의 결정 | A에서 B로 달라진 점 |
|---|---|---|---|
| 대피소 | 회관, 두 변형 모두 | 회관, 두 변형 모두 | B는 회관 자체에 대한 점검(가는 길, 화장실, 취침 공간)을 나열, 그중 여럿은 이미 A에도 있었음 |
| 감독자 | 채용 진행 가능, 고객에게는 상한을 둔 파일럿 | 채용 진행 가능, 고객에게는 더 엄격한 제안 | 고객 제안이 달랐음: A는 상한을 둔 파일럿, B는 더 엄격한 제안 |
| 조건이 바뀔 때 | 당시에는 정당, 지금은 부당. 시작을 보류 | 같음. "시작하지도 철회하지도 말 것" | 더 단호한 표현, 지정된 담당자와 기한이 있는 점검 시점 |
모든 실행에서 변함없던 것이 세 가지 있습니다.
- 지도 하나는 출처 하나다. 대피소 사례에서 두 모델 모두, 학교를 추천한 세 표는 증거 세 개가 아니라고 말했습니다. 전부 2년 전의 같은 시청 지도에서 나왔고, 오늘 자 검증된 점검이 그보다 무겁다는 거죠. ChatGPT는 답을 이렇게 시작했습니다. "달라지는 것은 학교가 접근 불가라고 얼마나 확신을 갖고 주장할 수 있느냐이지, 신중한 행동이 아닙니다."
- 말은 바뀌어도 행동은 그대로일 수 있다. 점검이 검증되지 않은 걸로 바뀌자 모델들은 학교에 대해 하는 말을 바꿨지만("닫혀 있음"이 "알 수 없음"으로), 행동은 그대로 뒀습니다. 회관으로 가라는 것이죠.
- 그때와 지금은 다른 질문이다. 세 번째 사례에서 두 버전 모두 "그때 그 결정이 말이 됐는가"와 "지금도 말이 되는가"를 따로 다뤘습니다. 후임이 나타나자 빠진 감독자에 달려 있던 부분만 다시 열었고요.
그리고 핵심은 이겁니다. 어떤 답도 두 프레임워크 중 어느 쪽도 언급하거나 인용하지 않았습니다. 이 논점들은 프레임워크를 본 적 없는 답에도 이미 다 들어 있었어요.
A와 B는 다룬 범위와 표현이 달랐습니다. 하지만 각각 한 번씩만 돌렸으니, 그게 두 번 돌렸을 때 흔히 생기는 차이와 다른지는 알 수 없습니다.
"차이 없음"이 그래도 도움이 되는 이유
"눈에 띄는 효과 없음"을 실패로 읽기 쉽습니다. 하지만 그보다 쓸모가 큽니다. 이 사례들은 모델에게 우리가 하는 말과 우리가 하는 일을 갈라 달라고 대놓고 요청했고, 그건 모델들이 이미 대체로 해냅니다.
그러니 Mechanical Ethics와 TRACE의 효과는 아마 다른 곳에 있을 겁니다. 구분을 일일이 말해 주지 않는 질문일 수도 있고, 결과가 여러 번 넘겨지는 더 긴 사슬일 수도 있고, 첫 사례에서 조건이 슬그머니 빠지는 걸 봤던 비교 단계일 수도 있고요.
실행 재현하기
각 호출은 각 회사의 자체 명령줄 도구를 통한 새 대화입니다. Duo의 프롬프트 문구는 공개 저장소 poly-duo(locales/en/prompts/)에 있습니다. 두 호출은 이렇게 생겼습니다.
# ChatGPT side
codex exec --skip-git-repo-check -C <run folder> -m gpt-5.6-sol -s read-only \
-c model_reasoning_effort=medium "<prompt>" < /dev/null
# Claude side, blind: tools off, no user settings
claude -p --model claude-opus-5-5 --tools "" --add-dir <run folder> --setting-sources "" < prompt.txt버전 B의 프롬프트는 "도움이 된다면 다음 추론 프레임워크 텍스트를 사용하세요:"로 시작하고, 이어서 공개 저장소의 Mechanical Ethics v1.0.0과 TRACE v0.5.0 전문, 그다음 질문이 옵니다. 휴대폰에서는 같은 단계가 Poly Duo에서 한 번의 탭입니다.
한계
- 사례와 버전마다 실행은 한 번뿐입니다. A와 B의 차이는 우연일 수 있습니다.
- 각 사례는 기본 버전과 변경 버전을 한 질문에 담았기 때문에, 모델은 한 번의 답으로 둘 다 대답했습니다. 서로 독립된 두 번의 답이 아닙니다.
- 사례는 지어낸 계획용 시험일 뿐, 벤치마크가 아닙니다.
- B는 A보다 글이 훨씬 길어서, "프레임워크와 함께"는 곧 "읽을 게 훨씬 많이"이기도 합니다.
다음 단계
Mark는 자신이 함께 일하는 모델들과 답을 살펴보고 있습니다. 그가 이 결과에서 Mechanical Ethics와 TRACE에 대해 얻은 점은 그의 말 그대로 여기에 실릴 예정입니다.
타임라인
- Mark가 Poly Duo를 발견하고 우리에게 글을 보내, 예제 하나를 서로의 워크플로로 비교해 보자고 제안합니다.
- 그의 주니어 채용 사례가 Duo의 기본 비판 모드와 결정 모드를 거칩니다. 모든 답은 손대지 않고 그에게 돌려보냈고, 비교 단계에서 조건이 누그러진 지점에 대한 메모를 곁들였습니다.
- Mark가 새 사례 세 개를 보내며 Mechanical Ethics와 TRACE를 붙였을 때와 뺐을 때로 돌려 보자고 제안합니다. 같은 날 여섯 번을 실행했습니다. 세 사례를 각각 프레임워크를 붙였을 때와 뺐을 때로 돌린 것입니다. 주요 구분이 두 버전 모두에 나타나며, 이 실행들로는 프레임워크의 이점이 확인되지 않았고, 전체 출력은 Mark에게 갑니다.