自分の仕事に合ったAIツールを選ぶ方法 — 研究ノート
これは翻訳です。正式版は英語の原文です。引用の際は原文をご参照ください。
今日、AIツールを選ぶ誰もが、混雑した棚と多くの確信に満ちたアドバイスに直面しています。レビューは役に立つことがありますが、あなたのタスクを見たものはありません。このノートは、持ちこたえることができる選択方法を説明しており、それはそれが由来する論文の1つの考えに基づいています。複数のAIが同意する場合、それは複数の独立した証人と同じではないということです。
まずレビューから始めて、独自のタスクでテストする
比較記事は合理的な最初のステップです。どのようなツールが存在するか、それぞれが何で知られているか、そして人々がどこで意見が異なるかを示しています。例えば、top10ai.comはPoly DuoについてClaude vs ChatGPTという比較記事を書いており、同じサイトではコードを書かずにソフトウェアを構築したい人向けのツールのリストを保持しています：best AI app builder。このようなリストは何を試すべきかを教えてくれます。ただし、今週実際に行う必要があることにどのツールが適しているかは教えてくれません。
そこで、自分で判断できるほど小さい実際のタスクを1つ取り、まったく同じリクエストを2、3つのツールに与えてください。下書きのメール、スプレッドシートの数式、短い計画、小さなアプリの最初のバージョン。その後、結果を並べて読んでください。トーン、各ツールが何を想定したか、そして何を省いたかの違いが見えるでしょう。それらが、あなたの仕事にとって重要な違いです。
自信のある回答が正しい回答であるとは限らない
この論文は、棚にあるすべてのツールに適用できるポイントを指摘しています。1つの言語モデルに質問を投げかけた人は、自信を持った間違った回答と自信を持った正しい回答を区別することができません。なぜなら、表面上は両者が同じように見えるからです。複数のモデルに問い合わせるとこれが解決されるように見えますが、実はほとんどの場合、問題が移動するだけです。すべてが同じことを言っている場合、あなたは今、「複数のモデルが同意した」という借り物の権威を帯びた1つの自信のあるテキストを持っています。
理由は、モデルが訓練データと習慣を共有しているため、その誤りが相関しているためです。この論文は、7つのモデルファミリーからの9人のフロンティア判事パネルの測定が、約2つの独立した投票の価値があったことを引用しており（Kohli、2026）、最高の単一判事がパネル全体と同等かそれ以上だったという知見があります。同じ種類のモデルをさらに追加しても、確実性がそれほど増すわけではありません。論文の評議会がどれだけの数の独立した証人の価値があるかについてのセクションと上限についてのセクションを参照してください。
異なる意見を述べることができる2番目の意見を使う
役に立つのは、理想的には異なる企業からのAIであり、異なる意見を述べることが許可されている2番目のAIです。日常的な使用には、2つの習慣で十分です：
- 2番目のツールに最初の回答をチェックしてもらい、確認を求めるのではなく、変更する点があれば名前を挙げるよう求めます。
- 異なる意見を保持します。2つの回答が異なる場合、そこはよく見て、ソースをチェックするか人に尋ねるべき場所です。
論文は2番目の意見を収集する2つの方法を区別しています：ブラインド型（2番目のモデルが最初の回答を見ない）と情報型（見る）です。情報型は具体的なエラーを検出できる一方で、ブラインド型は2つの回答をより独立させます。それぞれは他方と引き換えに何かを失い、ブラインド型および情報型の引き出しに関する議論がこのトレードオフを説明しています。論文はまた、独自の限界も指摘しています：マージされた回答が最良の単一の回答を上回るという主張は、設計と関連研究から主張されており、提案された評価はまだ実施されていません。
簡潔なチェックリスト
- レビューを使って2つか3つのツールの候補リストを作成します。
- 同じ実際のタスクを各ツールで実行し、結果を自分で比較します。
- あなたの仕事に合ったものを選び、その後、重要な事項について別の企業のツールに出力をチェックしてもらいます。
- 一致を根拠ではなくヒントとして扱い、間違っていた場合にコストが発生する事実を確認します。
私たちのアプリであるPoly Duoは、第二意見の習慣を中心に構築されています：異なる企業の2つのAIがあなたの電話上でお互いの作業をチェックするため、相互チェックはコピー&ペーストの代わりにタップで実現します。ただし、この方法は特定のアプリに依存しません。任意の2つのツールで手動で実行でき、論文で正確な方法が説明されています。
Vadym ChernetsはまたPolyも開発しており、異なる企業のAIがお互いの作業をチェックするアプリです。