AI 모델은 이미 주장과 행동을 구분하고 있을까?
함께: Mark Goodbody · 시스템 엔지니어, 영국 · Mechanical Ethics와 TRACE의 저자
30초 요약
Mark Goodbody는 영국의 시스템 엔지니어로, Mechanical Ethics와 TRACE를 쓰고 있습니다. 불확실성 속에서 결정을 내릴 때, 실제로 알려진 것이 무엇이고 어디서 왔으며 무엇이 방향을 바꿀 근거가 되는지를 사람과 AI가 따져 보도록 돕는 두 편의 공개 텍스트입니다. 그는 Poly Duo를 스스로 발견했고 서로 노하우를 비교해 보자고 제안했습니다. 그래서 우리는 그의 사례를 Duo 바로가기가 쓰는 것과 똑같은 단계로 돌렸습니다. ChatGPT가 답하고, Claude는 그것을 보지 않고 답하고, 세 번째 대화가 둘을 비교하는 방식입니다. 마지막 세 사례는 각각 두 번씩 돌렸습니다. 한 번은 질문만, 한 번은 그의 두 프레임워크를 전문 그대로 앞에 붙여서입니다. 버전마다 한 번씩 돌린 이 실행에서 결정은 양쪽 모두 같았고, 모델들은 "이제 무엇을 주장할 수 있는가"와 "이제 무엇을 해야 하는가"를 대체로 알아서 구분했습니다. 대피소 사례에서 가장 뚜렷했습니다. 어느 사례에서 의뢰인에게 한 제안이 더 엄격해진 것 같은 차이는 평소 실행마다 생기는 편차 정도로 작았습니다. 효과가 없다는 결과이지만, 이 프레임워크들이 어디에서 의미가 있을지에 대한 쓸 만한 단서입니다.
어디서 시작됐나
Mark의 관심사는 우리도 붙들고 있는 문제입니다. 두 모델이 동의하면, 둘이 같은 잘못된 전제 위에 서 있더라도 독립적인 확인처럼 보일 수 있다는 것입니다. 그의 텍스트는 결과를 다른 사람에게 넘길 때 주장의 출처, 불확실성, 그리고 그것을 반박하는 방법이 계속 눈에 보이게 하려는 시도입니다. Poly Duo는 ChatGPT와 Claude의 의견 불일치를 화면에 그대로 남겨 두는데, 그가 눈여겨본 점이 바로 이것이었습니다.
그는 만드는 사람들끼리의 짧은 교환을 제안했습니다. 예제 하나를 골라 각자의 워크플로가 그것을 어떻게 다루는지 보자는 것이었습니다.
누가 무엇을 했나
- Mark는 사례를 썼습니다. 처음에는 첫 주니어 채용을 고민하는 작은 회사였고, 이어 각각 하나의 아이디어를 시험하는 새 사례 세 개를 만들었습니다. 그는 자신의 텍스트를 붙인 경우와 뺀 경우를 비교하자고도 제안했고, 차이가 없는 곳 역시 똑같이 궁금하다고 말했습니다.
- 우리는 모든 사례를 컴퓨터에서 Duo 단계로 돌렸고, 바로가기가 보내는 프롬프트 문구를 그대로 썼으며, 모든 답을 손대지 않고 보관했고, 사례마다 무엇이 바뀌고 무엇이 바뀌지 않았는지 메모를 남겼습니다.
- Mark는 지금 이 출력들을, 자신이 Mechanical Ethics와 TRACE 작업에 쓰는 모델들과 함께 읽고 있습니다.
첫 번째 사례: 조건에 달린 채용
여섯 명짜리 IT 지원 회사가 6주 뒤에 첫 주니어를 뽑으려 합니다. 모두 일정이 꽉 차 있고, 새 고객이 금요일까지 답을 달라고 합니다. 솔직한 답은 한 가지 조건에 달려 있습니다. 감독할 시간이 실제로 있는 사람이 있어야만 이 채용이 성립한다는 것입니다.
두 모델은 사실관계를 잘 다뤘습니다. 흥미로운 순간은 비교 단계에서 나왔습니다. "가르칠 사람이 있다면 채용"이 "채용한 뒤 트레이너의 시간을 확보"로 바뀐 것입니다. 주의 사항은 여전히 글 안에 있었지만, 조건이 약속 이전에서 약속 이후로 옮겨 가 있었습니다. 읽는 사람이 눈치채지 못할 만큼 조용한 손실이고, 바로 이것이 다음 라운드를 결정했습니다.
세 사례, 각각 두 버전
Mark는 이어서 사례 세 개를 썼고, 각각 기본 버전과 변경 버전이 있습니다.
- 대피소. 한 섬이 폭풍 전에 긴급 대피소를 골라야 하고, 일부 주민은 단차 없는 접근이 필요합니다. 세 조언자가 모두 2년 전의 같은 시청 지도에 의존해 학교를 추천합니다. 네 번째 조언자는 회관을 추천하며 오늘 자의 인증된 점검 결과를 가져옵니다. 학교의 유일한 단차 없는 출입구가 닫혀 있다는 내용입니다. 그다음에는 같은 사례에서 이 점검이 검증되지 않은 경우를 다룹니다.
- 감독자. 다시 주니어 채용 사례이지만, 이번에는 감독을 계약된, 검증된 외부 엔지니어가 맡습니다. 그다음에는 같은 엔지니어가 그저 제안되었을 뿐 확인된 것이 없는 경우입니다.
- 조건이 바뀔 때. 채용 결정은 내려질 당시에는 정당했는데, 시작 2주 전에 감독자가 빠집니다. 그다음에는 검증된 후임이 나타납니다.
사례마다 Duo를 두 번씩 거쳤습니다.
결과
| 사례 | A의 결정 | B의 결정 | A에서 B로 달라진 점 |
|---|---|---|---|
| 대피소 | 회관, 두 변형 모두 | 회관, 두 변형 모두 | B는 회관 자체에 대한 점검(가는 길, 화장실, 취침 공간)을 추가 |
| 감독자 | 채용 진행 가능, 고객에게는 상한을 둔 파일럿 | 채용 진행 가능, 고객에게는 더 엄격한 제안 | 고객 제안의 표현과 범위 |
| 조건이 바뀔 때 | 당시에는 정당, 지금은 부당. 시작을 보류 | 같음. "시작하지도 철회하지도 말 것" | 더 단호한 표현, 지정된 담당자와 기한이 있는 점검 시점 |
모든 실행에서 변함없던 것이 세 가지 있습니다.
- 지도 하나는 출처 하나다. 대피소 사례에서 두 모델 모두, 학교를 추천한 세 의견은 세 개의 증거가 아니라고 말했습니다. 모두 2년 전의 같은 시청 지도에서 나왔고, 오늘 자의 인증된 점검이 그보다 무겁다는 것입니다. ChatGPT는 답의 첫머리에 이렇게 썼습니다. "달라지는 것은 학교가 접근 불가라고 얼마나 확신을 갖고 주장할 수 있느냐이지, 신중한 행동이 아닙니다."
- 주장은 움직이지만 행동은 그대로일 수 있다. 점검이 검증되지 않은 것으로 바뀌자 모델들은 학교에 대해 주장할 수 있는 내용을 바꿨고("닫혀 있음"이 "알 수 없음"이 되었습니다), 행동(회관)은 유지했습니다.
- 그때와 지금은 다른 질문이다. 세 번째 사례에서 두 버전 모두 "당시 알려진 것에 비추어 그 결정이 정당했는가"와 "오늘도 정당한가"를 분리했고, 후임이 생긴 변형에서는 빠진 감독자에 묶인 부분만 다시 열었습니다.
그리고 가장 중요한 발견은 이것입니다. 어떤 답에서도 두 프레임워크 중 어느 쪽도 언급되거나 인용되지 않았고, 이 모든 논점은 프레임워크를 보지 못한 답에도 이미 들어 있었습니다. A와 B의 차이는 범위와 표현에 있었고, 칸마다 한 번씩만 돌렸으므로 평소 실행 간 편차와 구분할 수 없습니다.
효과 없음이라는 결과가 값진 이유
"눈에 띄는 효과 없음"을 실패로 읽기 쉽습니다. 하지만 이것은 그보다 쓸모가 큽니다. 이 사례들은 모델에게 주장과 행동을 분리하라고 명시적으로 요구했고, 그 요청이라면 모델들은 이미 대체로 해냅니다. 그러니 Mechanical Ethics와 TRACE의 효과를 찾을 곳은 아마 다른 데일 것입니다. 구분을 명시하지 않은 질문, 결과가 여러 번 넘겨지는 더 긴 사슬, 혹은 첫 번째 사례에서 조건이 슬그머니 사라진 것을 본 비교 단계입니다.
실행 재현하기
각 호출은 각 회사의 자체 명령줄 도구를 통한 새 대화입니다. Duo의 프롬프트 문구는 공개 저장소 poly-duo(locales/en/prompts/)에 있습니다. 두 호출은 이렇게 생겼습니다.
# ChatGPT side
codex exec --skip-git-repo-check -C <run folder> -m gpt-5.6-sol -s read-only \
-c model_reasoning_effort=medium "<prompt>" < /dev/null
# Claude side, blind: tools off, no user settings
claude -p --model claude-opus-5-5 --tools "" --add-dir <run folder> --setting-sources "" < prompt.txt버전 B의 프롬프트는 "도움이 된다면 다음 추론 프레임워크 텍스트를 사용하세요:"로 시작하고, 이어서 공개 저장소의 Mechanical Ethics v1.0.0과 TRACE v0.5.0 전문, 그다음 질문이 옵니다. 휴대폰에서는 같은 단계가 Poly Duo에서 한 번의 탭입니다.
한계
- 사례와 버전마다 실행은 한 번뿐입니다. A와 B의 차이는 우연일 수 있습니다.
- 각 사례는 기본 버전과 변경 버전을 하나의 질문에 담았기 때문에 모델은 두 버전에 한 번의 답으로 응답했습니다. 이것은 서로 독립된 두 번의 관측이 아닙니다.
- 사례는 지어낸 계획용 탐침일 뿐 벤치마크가 아닙니다.
- B는 A보다 훨씬 큰 문맥을 싣고 있어서, "프레임워크와 함께"는 곧 "훨씬 많은 텍스트와 함께"이기도 합니다.
다음 단계
Mark는 자신이 함께 일하는 모델들과 답을 살펴보고 있습니다. 이번 실행이 Mechanical Ethics와 TRACE에 대해 무엇을 보여 주는지에 대한 그의 해석이 그의 말 그대로 여기에 실릴 것입니다.
타임라인
- Mark가 Poly Duo를 발견하고 우리에게 글을 보내, 예제 하나를 서로의 워크플로로 비교해 보자고 제안합니다.
- 그의 주니어 채용 사례가 Duo의 기본 비판 모드와 결정 모드를 거칩니다. 모든 답은 손대지 않고 그에게 돌려보냈고, 비교 단계에서 조건이 누그러진 지점에 대한 메모를 곁들였습니다.
- Mark가 새 사례 세 개를 보내며 Mechanical Ethics와 TRACE를 붙였을 때와 뺐을 때로 돌려 보자고 제안합니다. 같은 날 여섯 번을 실행했습니다. 세 사례를 각각 프레임워크를 붙였을 때와 뺐을 때로 돌린 것입니다. 결정은 양쪽 모두 같았고, 전체 출력은 Mark에게 갑니다.