Як вибрати інструмент ШІ для своєї роботи — Дослідницькі нотатки
Це переклад. Основна версія — оригінал англійською; посилайтеся на неї.
Той, хто сьогодні вибирає інструмент AI, стикається із переповненою полицею та багатьма впевненими порадами. Рецензії можуть допомогти, але жодна з них не бачила вашого завдання. Ця примітка описує спосіб вибору, який витримує перевірку часом, і він спирається на одну ідею з роботи, з якої вона походить: коли кілька AI погоджуються один з одним, це не те саме, що кілька незалежних свідків.
Почніть з оглядів, а потім протестуйте на власному завданні
Порівняльні статті — це розумний перший крок. Вони показують, які інструменти існують, чим відомий кожний і де люди не згідні. Наприклад, top10ai.com писав про Poly Duo у своєму порівнянні Claude vs ChatGPT, а той самий сайт веде список інструментів для людей, які хочуть створювати програмне забезпечення без написання коду: best AI app builder. Списки такого роду розповідають вам, що спробувати. Вони не можуть розповісти вам, який інструмент підходить для справи, яку вам насправді потрібно зробити на цьому тижні.
Тож візьміть одне справжнє власне завдання, досить невелике, щоб судити самостійно, і подайте однаковий запит двом-трьом інструментам. Чернетка електронного листа, формула електронної таблиці, короткий план, перша версія невеликої програми. Потім прочитайте результати один поруч з одним. Ви побачите різниці в тоні, у тому, що припустив кожний інструмент, і що він пропустив, і саме ці різниці мають значення для вашої роботи.
Впевнена відповідь — це не правильна відповідь
У статті висувається твердження, яке стосується кожного інструменту. Коли хтось задає питання одній мовній моделі, вони не можуть розрізнити впевнено неправильну відповідь від впевнено правильної, тому що на поверхні вони виглядають однаково. Запитання кількох моделей здається вирішує проблему, але насправді вона переміщується: якщо всі кажуть те саме, ви маєте одне впевнене висловлювання, що несе запозичену авторитетність «кілька з них погодилися».
Причина в тому, що моделі поділяють навчальні дані та звички, тому їхні помилки корелюють. Робота цитує вимірювання панелі з дев'яти провідних суддів з семи сімейств моделей, яка була вартісною приблизно двох незалежних голосів (Kohli, 2026), та виявлення того, що найкращий самотній суддя зрівнявся з цілою панеллю або перевершив її. Додавання більше моделей того ж типу не дає вам набагато більше впевненості. Див. розділ статті про скільки незалежних свідків варта рада та про стелю.
Використовуйте другу думку, яка може не погодитися
Допомагає друга штучна інтелектуальність, в ідеалі від іншої компанії, якій дозволено не погоджуватися. Двох звичок достатньо для щоденного використання:
- Попросіть другий інструмент перевірити першу відповідь і назвати все, що вони б змінили, замість того щоб просити його підтвердити.
- Зберігайте незгоди. Якщо дві відповіді відрізняються, це місце, де варто подивитися уважніше, перевірити джерело або попросити людину.
Стаття розділяє два способи збирання другої думки: сліпий, коли друга модель не бачить першу відповідь, і інформований, коли бачить. Інформований може виявити конкретну помилку, тоді як сліпий утримує дві відповіді більш незалежними. Кожен щось дає за інше, і обговорення сліпої та інформованої елікітації викладає цей компроміс. Стаття також зазначає свої обмеження: твердження, що об'єднана відповідь краща за найкращу окрему, обґрунтовується дизайном та суміжною роботою, а запропонована оцінка ще не була проведена.
Короткий контрольний список
- Використовуйте рецензії, щоб скласти короткий список із двох-трьох інструментів.
- Запустіть одне й те саме реальне завдання через кожний і порівняйте результати самостійно.
- Виберіть той, що відповідає вашій роботі, а потім попросіть інструмент від іншої компанії перевірити його результати на всьому, що має значення.
- Сприймайте узгодженість як натяк, а не як доказ, і перевіряйте факти, які мають вартість, якщо вони помилкові.
Poly Duo, наша програма, побудована на звичці шукати другу думку: два штучні інтелекти від різних компаній перевіряють роботу один одного на вашому телефоні, так що перехресна перевірка займає одне натискання замість копіювання та вставлення. Але цей метод не залежить від жодної окремої програми. Ви можете це робити вручну з будь-якими двома інструментами, і в роботі описано саме як.
Vadym Chernets також розробляє Poly, програму, в якій штучні інтелекти від різних компаній перевіряють роботу один одного.