Poly

함께 하는 연구

공동 연구

어떤 이야기는 우리가 누군가의 논문이나 글 아래에 남긴 질문에서 시작했고, 하나는 상대가 먼저 보낸 메시지에서 시작했습니다. 자기 모델이나 메모리, 추론 도구를 직접 만드는 사람이 우리와 함께 하나의 질문을 공개적으로 파고듭니다. 이야기마다 주제도, 예상 밖의 전개도 다릅니다.

30초 요약

지금까지 네 가지 이야기가 있고, 각각 AI의 서로 다른 구석을 다룹니다.

  • Anagha Langhe는 자신의 모델을 bf16 대신 FP8로 돌리면 답이 달라지는지 확인했습니다. 120개 중 답이 뒤집힌 것은 하나였고, 두 빌드가 모두 틀린 48개 중 42개는 똑같은 오답을 골랐습니다.
  • Mark Goodbody는 자신의 추론 프레임워크가 ChatGPT와 Claude의 결정을 바꾸는지 보려고 의사결정 사례를 직접 썼습니다. 버전마다 한 번씩 돌린 결과에서는 바꾸지 못했습니다. 결정은 그대로였고, 모델들은 달라진 주장과 달라진 행동을 대체로 알아서 구분했습니다.
  • Mohan Bheemadolu는 FlyHash로 에이전트의 메모리를 아주 짧은 코드에 눌러 담습니다. 우리는 함께, 메모리가 작아질수록 서로를 검증하는 두 AI가 같은 오답에 동의하는 일이 더 잦아지는지 확인하는 실험을 설계했습니다.
  • top10ai.com의 Milena Josimov가 Poly Duo에 대해 썼고 우리는 그의 가이드를 링크합니다. 지금은 ChatGPT와 Claude로 AI 앱 빌더를 비교하는 일을 이야기하고 있습니다.

이야기들

세 명의 조언자가 모두 2년 전의 같은 지도를 근거로 그 학교를 추천합니다. 한 조언자는 오늘 자 점검 결과, 학교의 단차 없는 출입구가 닫혀 있다는 사실을 갖고 있습니다. 두 AI는 Mark의 프레임워크가 앞에 있든 없든 세 명을 하나의 출처로 셌습니다.

AI 모델은 이미 주장과 행동을 구분하고 있을까?

함께: Mark Goodbody · 시스템 엔지니어, 영국 · Mechanical Ethics와 TRACE의 저자

이야기 읽기 →

에이전트의 메모리에 사실이 빠져 있었는데도 GPT와 Claude는 33번이나 같은 답을 냈고, 그중 15번은 오답이었습니다. Mohan의 FlyHash는 메모리를 크게 줄여 줍니다. 그렇다면 이런 공유된 실수도 더 흔해질까요?

에이전트의 메모리를 짧은 코드로 압축하면, 두 AI가 같은 오답에 동의하게 될까?

함께: Mohan Bheemadolu · AI 에이전트 개발자, 레드먼드 · FlyHash for LLM agent memory 공저자

이야기 읽기 →

공동 연구는 이렇게 진행됩니다

  1. 질문, 시스템, 데이터 중 하나를 가져오시면 됩니다. 직접 운영하는 모델, 리트리버, 사례 모음, 혹은 한번 철저히 시험해 보고 싶은 논문이면 충분합니다.
  2. 결과를 보기 전에, 무엇을 돌릴지와 무엇을 답으로 인정할지부터 합의합니다.
  3. 양쪽이 각자 맡은 부분을 실행합니다. 공개할 수 있는 것은 모두 공개합니다. 코드, 프롬프트, 원본 출력, 숫자까지 전부입니다.
  4. 이야기는 지금 보시는 것과 같은 페이지에 쉬운 말로, 당신의 이름과 링크를 달아 올라가고, 작업이 진행되는 만큼 계속 자랍니다.

공동 연구 제안하기

어떤 작업을 하고 있는지, 무엇을 알아내고 싶은지, 코드나 논문은 어디 있는지 몇 줄로 알려 주세요. 모두 읽고 직접 답해 드립니다.

[email protected]