"У нас є охранці" — це не обґрунтування безпеки
Це переклад. Основна версія — оригінал англійською; посилайтеся на неї.
При порушенні питання про збої нагляду в компаніях, що впроваджують штучний інтелект у транспортні засоби, роботів та літаки, звичайна відповідь — це перелік: фільтр політики, сертифікований контролер, аварійна зупинка, географічне обмеження, монітор, оператор на відстані. Стаття стверджує, що такий перелік є основною ознакою того, що систему охороняють, і що це залишає відкритим питання, що має значення.
Невирішене питання списку механізмів захисту
Відкрите питання, словами статті: чи охоронці "залишаються обмеженими, незалежними та підзвітними оголошеній місії, у міру того як вони адаптуються, взаємодіють та оновлюються?" Охоронці — це місце, де почався б описаний у статті паттерн, якби він десь почався. Цей паттерн, AI-Watchbird, — це компонент нагляду, який розширює свій власний мандат, шкодить роботі, яку він захищає, та якому дають відповідь більш інтенсивним наглядом того ж роду.
Позиція статті полягає в тому, що відповідь «у нас є опікуни» переносить бремя. Охоронець може все ще бути необхідним, «але бремя демонстрації його обмеженості лежить на тій стороні, яка його розгортає». Вона ясно констатує, що це «твердження про те, де повинен перебувати доказ, а не висновок про те, як часто охоронці не справляються».
Чому друга модель не є рішенням
Менша «надійна» модель, розміщена як монітор, у термінах цієї роботи є другим стадом того самого класу навчання. Там, де це розташування було виміряно, надійний контроль від слабого до сильного походив від змін у каркасі навколо монітора, а не від його розміру. Невдачі контролю в записах самої роботи походили від сильних моделей сімейств Claude, ChatGPT, Gemini та Grok. «Модель, яка може створити закономірність в одному циклі, не стає надійним аудитором в іншому лише з цього факту.»
Вузька претензія, яку може доказати розповсюджувач
Стаття пропонує претензію, яку розповсюджувач насправді може підтримати:
У цьому діапазоні завдань, моделей, оновлень та фізичних умов механізм нагляду залишається обмеженим, перевіряємим і неспроможним розширити власний мандат.
Докази цього включали б:
- мету місії та межі охоронців, закріплені за межами моделі;
- жодний охоронець не здатен додати охоронця, змінити критерій шкоди або відмовитися від правила зупинки;
- оцінювання ззовні охоронюваної системи, ні саморозповіді, ні тієї ж сім'ї моделей;
- негативні контролі проти помилкових дозволів, з хибними позитивами та хибними негативами, виміряними разом;
- журнал контролів, доданих, послаблених та видалених, з указанням того, хто авторизував кожну змінку;
- перевірки при оновленні моделі, втраті зв'язку, передачі управління, змінці тіла та погіршеній роботі;
- справжня зупинка та відкат, з частковою роботою, збереженою, продемонстрована в межах доступних часових та силових припусків;
- перевірки, входи яких охоронюваний компонент не може змінити;
- порівняння проти фізичних або записаних результатів, а не проти власних звітів системи.
Одинадцять запитань для оцінки безпеки ШІ
Додаток G перетворює твердження статті на одинадцять запитань, Q1 до Q11, для будь-якого розгортача, чия відповідь — це список охоронців. Коротко кажучи, вони запитують:
- Чи записана мета місії поза моделлю, з визначенням обсягу кожного охоронця та порядком пріоритету між конфліктуючими охоронцями?
- Як часто кожен охоронець втручається без причини, і вимірюються разом хибнопозитивні та хибнонегативні результати?
- Хто може послабити, обійти або відключити охоронця, який виявився занадто суворим, і як це записується?
- Хто може додати нового охоронця, раунд або роль, хто виводить зі служби старих, і чи може автор охоронця допустити або оцінити його власного наступника?
- Чи вимагає блокувальник відтворюваного сценарію, і обмежені раунди критики та виправлення за замовчуванням?
- Який негативний контроль стоїть за кожним твердженням щодо безпеки?
- Чи є оцінювач незалежним від захищеної системи?
- Що відбувається із завданням, яке перериває охоронець, і зберігається часткова робота?
- Де знаходиться людина, і з яким доступом до світу та часом на дію?
- Чи охоплюють ті ж самі тести оновлення моделі, втрату зв'язку, передачу, нові тіла та поширення на весь флот?
- Коли охоронець діє щодо особи чи її роботи, як вона дізнається про це та може це оскаржити?
Кожна відповідь записується як так, ні або невідомо, з доказами. Підрахунок відповідей "ні" дає лише грубе сортування (0–2 низьке, 3–4 середнє, 5 або більше високе) "і ніколи не оцінка ризику". Потім справа позначається як не AI-Watchbird справа, часткова схема, або AI-Watchbird подія, остання лише коли спостерігаються всі три умови.
Що стаття не стверджує
Кожен механізм визначення задокументований у записах статті, але як часто всі три зустрічаються в одному компоненті «не встановлюється записами тут»; галузеві та публічні записи «кожен показує частини, а не ціле».
Повні розділи: тягар доказу для втіленого нагляду штучного інтелекту (11.3), одинадцять запитань (Додаток G), проектні наслідки (9.4), друга стая (3.4), визначення.
Chernets, V. (2026). AI-Watchbird (Sheckley): Коли автоматизований нагляд розширює свій мандат і завдає шкоди тому, що охороняє. SSRN 7473658. https://doi.org/10.2139/ssrn.7473658
Vadym Chernets також створює Poly A1, застосунок, у якому штучні інтелекти різних компаній перевіряють роботу один одного.