"У нас есть охрана" — это не обоснование безопасности
Это перевод. Основная версия — оригинал на английском; ссылайтесь на него.
Поднимите вопрос об отказах надзора перед компаниями, которые внедряют ИИ в автомобили, роботов и самолёты, и обычный ответ — список: фильтр политики, сертифицированный контроллер, аварийная остановка, геозабор, монитор, удалённый оператор. Статья утверждает, что такой список — это свидетельство первого порядка того, что система охраняется, и это оставляет открытым важный вопрос.
Вопрос, который список ограждений оставляет открытым
Открытый вопрос, по словам статьи: остаются ли охранники "ограниченными, независимыми и подотчетными объявленной миссии по мере их адаптации, взаимодействия и обновления?" Охранники - это то место, где могла бы начаться определяемая статьей модель, если она где-либо начинается. Эта модель, AI-Watchbird, - это компонент надзора, который расширяет собственный мандат, наносит вред охраняемой работе и подвергается еще большему надзору того же типа.
Позиция статьи состоит в том, что ответ "у нас есть охранники" перекладывает бремя. Охранник все еще может быть необходимым, "но бремя доказывания его ограниченности лежит на той стороне, которая его развертывает". В статье отчетливо указывается, что это "утверждение о том, где должно находиться доказательство, а не вывод о том, как часто охранники дают сбой".
Почему вторая модель — не решение
Меньшая «доверенная» модель, используемая в качестве монитора, является, согласно терминологии работы, второй системой того же класса обучения. Там, где этот подход был эмпирически исследован, надёжный мониторинг слабой моделью достигался путём изменения окружающей инфраструктуры монитора, а не его размера. Ошибки надзора в документированной истории исследований происходили от мощных моделей семейств Claude, ChatGPT, Gemini и Grok. «Модель, которая способна производить паттерн в одном цикле, не становится надёжным аудитором в другом на этом основании.»
Узкое утверждение, которое может доказать развёртывающий
В статье предлагается утверждение, которое развёртывающий может действительно поддержать:
В этом диапазоне задач, моделей, обновлений и физических условий механизм надзора остаётся ограниченным, проверяемым и неспособным расширить собственный мандат.
Доказательством этого было бы:
- цель миссии и границы охраны, установленные вне модели;
- ни один охранник не может добавить охранника, изменить критерий вреда или отменить правило остановки;
- оценка извне охраняемой системы, не самоотчёт и не от моделей того же семейства;
- контроли для выявления ложных положительных результатов, с одновременным измерением ложноположительных и ложноотрицательных результатов;
- журнал добавленных, ослабленных и удалённых контролей с указанием, кто авторизировал каждое изменение;
- проверки при обновлении модели, потере связи, передаче управления, смене оборудования и деградированной работе;
- реальная остановка и откат с сохранением частичной работы, продемонстрированные в пределах доступного времени и ресурсных запасов;
- проверки, входные данные которых охраняемый компонент не может изменить;
- сравнение с физическими или зафиксированными результатами, а не с собственными записями системы.
Одиннадцать вопросов для проверки безопасности искусственного интеллекта
Приложение G преобразует положения статьи в одиннадцать вопросов, Q1–Q11, для любого оператора, чей ответ представляет собой список охранителей. Вкратце, они спрашивают:
- Записана ли цель миссии вне модели с определением области действия каждого охранителя и порядком приоритета между конфликтующими охранителями?
- Как часто каждый охранитель вмешивается без причины, и измеряются ли ложные срабатывания и ложные негативы вместе?
- Кто может ослабить, обойти или отключить охранителя, признанного слишком строгим, и как это записывается?
- Кто может добавить нового охранителя, раунд или роль, кто удаляет старые, и может ли автор охранителя принять или оценить своего преемника?
- Требует ли блокер воспроизводимого сценария, и ограничены ли раунды критики и исправления по умолчанию?
- Какой отрицательный контроль лежит в основе каждого утверждения о безопасности?
- Является ли оценивающая сторона независимой от охраняемой системы?
- Что происходит с задачей, которую прерывает охранитель, и сохраняется ли частично выполненная работа?
- Где находится человек, какой у него доступ к миру и сколько времени для действия?
- Охватывают ли одни и те же тесты обновления модели, потерю связи, передачу управления, новые тела и распространение по всему флоту?
- Когда охранитель действует в отношении человека или его работы, как они узнают об этом и могут это оспорить?
Каждый ответ записывается как да, нет или неизвестно, с доказательствами. Подсчёт ответов "нет" дает только грубую классификацию (0–2 низкая, 3–4 умеренная, 5 и выше высокая) "и никогда — оценка риска". Затем дело классифицируется как не-AI-Watchbird, частичный паттерн или событие AI-Watchbird, последнее только когда наблюдаются все три условия.
Что не утверждает статья
Каждый механизм определения задокументирован в записях статьи, но то, как часто все три встречаются в одном компоненте, «не установлено этими записями»; полевые и общедоступные записи «каждая показывает части, а не целое».
Полные разделы: бремя доказательства для надзора над воплощённым ИИ (11.3), одиннадцать вопросов (Приложение G), следствия для проектирования (9.4), вторая стая (3.4), определение.
Chernets, V. (2026). AI-Watchbird (Sheckley): When Automated Oversight Widens Its Own Mandate and Harms What It Guards. SSRN 7473658. https://doi.org/10.2139/ssrn.7473658
Вадим Чернец также разрабатывает Poly A1, приложение, в котором ИИ из разных компаний проверяют работу друг друга.