Как выбрать инструмент ИИ для собственной работы — Исследовательские заметки
Это перевод. Основная версия — оригинал на английском; ссылайтесь на него.
Любой, кто сегодня выбирает инструмент ИИ, сталкивается с переполненной полкой и множеством уверенных советов. Рецензии могут помочь, но ни одна из них не видела вашу задачу. В этой заметке описан способ выбора, который выдерживает испытание временем, и он основан на одной идее из статьи, из которой эта заметка вышла: когда несколько систем ИИ согласны между собой, это не то же самое, что несколько независимых свидетелей.
Начните с обзоров, затем протестируйте на собственной задаче
Статьи сравнения — это разумный первый шаг. Они показывают, какие инструменты существуют, чем известен каждый и в чём люди не согласны. Например, top10ai.com написал о Poly Duo в своем сравнении Claude vs ChatGPT, и этот же сайт ведёт список инструментов для людей, которые хотят создавать программное обеспечение без написания кода: best AI app builder. Такие списки подскажут вам, что попробовать. Они не могут сказать вам, какой инструмент подходит для того, что вам действительно нужно сделать на этой неделе.
Поэтому возьмите одну реальную собственную задачу, достаточно небольшую, чтобы вы могли судить сами, и дайте идентичный запрос двум или трём инструментам. Черновик письма, формулу электронной таблицы, краткий план, первую версию небольшого приложения. Затем прочитайте результаты рядом. Вы увидите различия в тоне, в том, что предположил каждый инструмент, и в том, что он упустил, и именно эти различия имеют значение для вашей работы.
Уверенный ответ — это не правильный ответ
В статье поднимается вопрос, который касается каждого инструмента. Если кто-то задаёт вопрос одной языковой модели, он не может отличить уверенный неправильный ответ от уверенного правильного, потому что на поверхности они выглядят одинаково. Опрос нескольких моделей кажется решением, но в основном он перемещает проблему: если все говорят одно и то же, вы теперь держите один уверенный текст, который несёт заимствованный авторитет «несколько из них согласились».
Причина в том, что модели делят данные обучения и привычки, поэтому их ошибки коррелированы. В статье приводится измерение группы из девяти передовых судей из семи семейств моделей, что было эквивалентно примерно двум независимым голосам (Kohli, 2026), и вывод, что лучший единственный судья совпадал или превосходил всю группу. Добавление большего количества моделей одного типа не даёт вам намного большей уверенности. См. раздел статьи о том, сколько независимых свидетелей стоит совет и о потолке.
Используйте второе мнение, которое может не согласиться
Помощь оказывает второй ИИ, в идеале от другой компании, которому разрешено не согласиться. Двух привычек достаточно в повседневном использовании:
- Попросите второй инструмент проверить первый ответ и назвать всё, что он бы изменил, вместо того чтобы просить его подтвердить.
- Сохраняйте разногласия. Если два ответа отличаются, именно в этом месте нужно тщательно проверить, обратиться к источнику или спросить у человека.
Статья разделяет два способа сбора второго мнения: слепой, когда вторая модель не видит первый ответ, и информированный, когда видит. Информированный способ может выявить конкретную ошибку, тогда как слепой способ сохраняет два ответа более независимыми. Каждый способ что-то приносит в жертву ради другого, и обсуждение слепой и информированной элицитации раскрывает этот компромисс. Статья также отмечает свои собственные ограничения: утверждение о том, что объединённый ответ превосходит лучший единичный ответ, аргументировано из дизайна и смежных работ, а предложенная оценка ещё не была проведена.
Краткий контрольный список
- Используйте обзоры, чтобы составить короткий список из двух или трёх инструментов.
- Выполните одну и ту же реальную задачу в каждом из них и сравните результаты самостоятельно.
- Выберите инструмент, который подходит вашей работе, а затем попросите инструмент от другой компании проверить его результаты по всему, что имеет значение.
- Рассматривайте согласие как намёк, а не как доказательство, и проверяйте факты, которые могут быть дорогостоящей ошибкой, если они окажутся неверными.
Poly Duo, наше приложение, построено на основе привычки получать второе мнение: два ИИ от разных компаний проверяют работу друг друга на вашем телефоне, поэтому взаимная проверка требует одного касания вместо копирования и вставки. Но этот метод не зависит от какого-то одного приложения. Вы можете делать это вручную с любыми двумя инструментами, и в статье описано точно, как.
Vadym Chernets также разрабатывает Poly, приложение, в котором ИИ от разных компаний проверяют работу друг друга.