Що свідчить відкликання шкільного автобуса про дистанційний нагляд
Це переклад. Основна версія — оригінал англійською; посилайтеся на неї.
Два окремі громадські записи описують автоматизовані транспортні засоби, що проїжджали повз шкільні автобуси з розпростертими знаками зупинки. В одному випадку правило всередини системи водіння перевизначило команду зупинки; в іншому система запитала людину, а людина прийняла неправильне рішення. Якщо прочитати їх разом, вони демонструють, чому стаття стверджує, що людський нагляд слід здійснювати на деяких крайових рішеннях, а не на окремих діях.
Дві події, а не одна
Це різні події, їх не слід об'єднувати.
Відкликання. Система автоматизованого керування компанії Waymo включає правило, що вона не повинна перешкоджати пріоритетним транспортним засобам, таким як шкільні автобуси. Випуск програмного забезпечення у серпні 2025 року змінив те, як система передбачає наміри інших учасників дорожного руху. Згодом, згідно зі звітом компанії про відкликання, «система визначила, що вона може перешкоджати шкільному автобусу або іншому пріоритетному транспортному засобу, а потім зробила висновок, що вона повинна продовжити рух, щоб припинити перешкоджання іншому транспортному засобу», в момент, коли стоп-плече шкільного автобуса було розширене. Відкликання охопило 3067 транспортних засобів. Цей засіб передбачає, що система не ставить переміщення для уникнення перешкоджання вище за правильну зупинку для шкільного автобуса.
Віддалений оператор в Остіні. 12 січня 2026 року в Остіні автоматизований транспортний засіб зупинився позаду шкільного автобуса та попросив дистанційну допомогу визначити, чи це шкільний автобус з активними сигналами. Згідно з попереднім звітом National Transportation Safety Board, віддалений оператор «відповів «Ні» на запит», і транспортний засіб «продовжив рух і минув шкільний автобус, поки його стоп-плечі були ще розширені».
Що показує кожен з них
У розглядуваному випадку срацювало захисне правило там, де мав діяти більш надійний захист - захист дітей у автобусі. Стаття розглядає це як документування шкоди, завданої захищуваним (умова 2 її визначення). Вона зазначає, що документи фіксують ситуації, на які спрацювало правило, а не змінене визначення шкоди, тому запис не показує розширення охоронною системою власного мандата.
У випадку Остіна прочитання у статті є безпосередним: «сумнів моделі був правильний, а дистанційний агент, якому поставлено питання про одну дію, помилився». Система зробила те, що вимагає обережна конструкція. Вона зупинилась і запитала. На основі людської відповіді вона рушила далі.
Невдача людського контролю в циклі та місце людини
Твердження P6 передбачає, що людський нагляд спрацює, коли він сконцентрований у кількох межових рішеннях (мета, допуск нового контролю, зупинка), прийнятих з доступом до світу та часом для дії, і не спрацює, коли він розпорошений на затвердження окремих дій чи здійснюється через артефакти. Другим розташуванням є віддалений агент, що відповідає так-чи-ні на запит про одну дію.
Програмне забезпечення показує той самий розподіл у масштабі. Один розробник повідомив, що користувачі затверджують 97% запитів на дозвіл, а в дослідженні з 1053 тестувальниками люди виявили 13,6% небезпечних команд, порівняно з 89% для автоматизованого класифікатора. За словами статті: "Людина, якій попросили затвердити кожен крок, стає гумовою печаткою."
Контроль над фізичним ШІ потребує часу та доступу
Тіло вносить час і незворотність. Помилкове рішення в репозиторії можна скасувати; те, що прийняте на дорожній швидкості, неможливо. Дослідження зауважує, що людський перемикач, який спрацьовував у своїх польових записах, "потребує часу та доступу, які фізична система може не надати". Це додає подальшу вимогу з фізичних випадків: людина на межі потребує доступу до світу та часу для дії.
Дорожні записи показують аналогічну напругу в інших місцях. В аварії в Tempe 2018 року слідчі виявили, що конструкція системи "запобігала активації аварійного гальмування для пом'якшення наслідків зіткнення, натомість покладаючись на втручання оператора", та що "тривале зорове відволікання оператора, типовий результат самозаспокоєності від автоматизації," не дало їй змогу вчасно помітити пішохода.
Нагляд людьми за статтею 14 Закону ЄС про ШІ
Стаття 14 Закону ЄС про ШІ вимагає нагляду людьми над високоризиковими системами штучного інтелекту за графіком, записаним у додатку I: регулювання зі змінами 2026 року перенесло зобов'язання щодо автономних високоризикових систем на 2 грудня 2027 року та щодо вбудованих у продукт на 2 серпня 2028 року. Стаття 26 вимагає від операторів призначити нагляд людям з "необхідною компетентністю, навчанням і повноваженнями, а також необхідною підтримкою". У роботі ці слова розцінюються як тест P6 у законодавчому формі: повноваження зупинити та підтримка, яка забезпечує доступ і час. Вона також попереджує: "Вимога щодо нагляду, яка задовольняється додаванням запитів на затвердження, сама по собі може стати другою зграєю."
Ці два дорожні записи кожен документує одну умову визначення роботи. Як часто всі три умови виконуються в одному компоненті, "не встановлено в записах тут".
Повні розділи: on the road (6.2), why a body changes the question (6.1), Proposition P6, permission prompts (8.4), human-oversight requirements (11.4), the regulatory record (Appendix I).
Chernets, V. (2026). AI-Watchbird (Sheckley): When Automated Oversight Widens Its Own Mandate and Harms What It Guards. SSRN 7473658. https://doi.org/10.2139/ssrn.7473658
Vadym Chernets також розробляє Poly A1, застосунок, у якому ШІ з різних компаній перевіряють роботу один одного.