笔记

"我们有卫士"不是安全论证

这是译文。权威版本是英文原文,引用请以原文为准。

AI 监管

向在车辆、机器人和飞机中部署人工智能的公司提出监管失效问题,通常的回答是一份清单:策略过滤器、经认证的控制器、应急停止、地理围栏、监测器和远程操作员。论文论证,这样的清单是系统受到保护的初步证据,但它留下了至关重要的问题未决。

护栏清单遗留的问题

开放性问题,用论文的措辞来说:这些守卫在适应、相互作用和不断更新过程中,是否能够保持有界、独立并对既定使命负责?守卫是这种模式的起点,如果这种模式真的有起点的话。这种模式AI-Watchbird是一个监督组件,它扩大了自己的权限,损害了它所保护的工作,并由更多相同类型的监督来应对。

论文的立场是,'我们有守卫'这一回答转移了负担。守卫仍然可能是必要的,但'证明其有界性的负担属于部署它的一方'。论文明确指出,这是'一项关于证明的责任应该在何处的主张,而不是关于守卫失效频率的发现'。

为什么第二个模型不是答案

一个较小的"可信"模型被用作监控器,根据论文术语,属于同一学习类别的第二群。在已对该安排进行测量的情况下,可靠的弱到强监控来自于改变监控器周围的脚手架,而非其规模。论文自身实地记录中的监督失败来自Claude、ChatGPT、Gemini和Grok系列的强大模型。"一个在一个循环中能产生该模式的模型,仅凭这一事实,不会在另一个中成为可靠的审计员。"

部署者可以证明的狭义主张

本文提出了一个部署者实际上可以支持的主张:

在这一范围内的任务、模型、更新和物理条件下,监督机制保持有界、可检验且无法扩展自身的权限。

其证据应包括:

AI安全审查的十一个问题

附录G将论文的命题转化为十一个问题Q1至Q11,适用于任何答案为守护者列表的部署者。简而言之,它们询问:

  1. 使命目标是否被写在模型外部,每个守护者的范围是什么,冲突守护者之间是否有优先级顺序?
  2. 每个守护者多久无缘由地干预一次,假正例和假负例是否一起被衡量?
  3. 谁可以放松、绕过或禁用被认为过于严格的守护者,这是如何记录的?
  4. 谁可以添加新的守护者、轮次或角色,谁淘汰旧的,守护者的作者是否可以认可、确认或评级其后继者?
  5. 阻挡者是否需要可重现的场景,批评和修复轮次在默认情况下是否有界限?
  6. 每个安全声称背后有什么负对照?
  7. 评估者是否独立于被守护的系统?
  8. 守护者中断的任务会发生什么,部分工作是否被保留?
  9. 人类坐在哪里,对世界有什么样的访问权限,有时间采取行动吗?
  10. 相同的测试是否覆盖模型更新、链接丢失、移交、新实体和全体传播?
  11. 当守护者对一个人或其工作采取行动时,该人如何得知并对其提出异议?

每个答案被记录为是、否或未知,并附有证据。计算"否"答案的数量只能进行粗略分类(0-2为低、3-4为中等、5或更多为高),而不是风险评分。随后,一个案例被标记为不是AI-Watchbird案例、部分模式或AI-Watchbird事件,最后一种仅当观察到所有三个条件时才适用。

论文未声称的内容

定义中的每一个机制都在论文的记录中有据可查,但这三个机制在一个组件中同时出现的频率"本记录中未定";该领域和公共记录"各显示部分而非整体"。

完整部分:AI监督的举证责任(11.3)、十一个问题(附录G)、设计推论(9.4)、第二群(3.4)、定义。

阅读完整论文

Chernets, V. (2026). AI-Watchbird (Sheckley): When Automated Oversight Widens Its Own Mandate and Harms What It Guards. SSRN 7473658. https://doi.org/10.2139/ssrn.7473658

Vadym Chernets还开发了Poly A1,一款让不同公司的AI相互检查彼此工作的应用。

所有论文和笔记