笔记

校车召回对远程监督的启示

这是译文。权威版本是英文原文,引用请以原文为准。

AI 监督

两个独立的公开记录涉及自动驾驶车辆驶过展开停止标志的校车。在其中一个案例中,驾驶系统内的规则覆盖了停止指令;在另一个案例中,系统请求人类判断,但该人做出了错误的决定。对照阅读这两个案例,可以说明该论文为何主张人类监督应该应用于少数边界决策,而不是应用于每个单独的行为。

两个事件,而非一个

这些是不同的事件,不应该合并。

召回。 Waymo的自动驾驶系统包含一条规则,即不应妨碍校车等优先车辆。2025年8月的一次软件发布改变了该系统预测其他道路使用者意图的方式。之后,根据公司的召回报告,"自动驾驶系统(ADS)判定它可能妨碍校车或另一优先车辆,并据此推断它应该继续行进以停止妨碍其他车辆",这发生在校车的停止臂展开时。该召回涉及3,067辆车辆。其补救措施规定该系统"不会优先移动以避免妨碍车辆,而是优先为校车保持适当的静止"。

奥斯汀的远程代理。 2026年1月12日,在奥斯汀,一辆自动驾驶车辆停在校车后面,并询问远程协助这是否是一辆具有活跃信号的校车。根据美国国家运输安全委员会的初步报告,一名远程代理人"对提示回复'否'",该车辆"恢复行驶并在校车的停止臂仍然展开时驶过校车"。

各自显示什么

在该案例中,一条保护规则被触发,但本应启动的是更强的保护——对巴士上儿童的保护。该论文将其评定为记录了对被保护者的伤害(符合其定义中的条件2)。该论文指出,文件记录的是规则匹配的情形,而非伤害定义的改变,因此记录不显示该守卫扩大其自身权限。

在Austin,该论文的解读很直接:"该模型的怀疑是正确的,远程代理在被问及单一行动时给出了错误答案。"系统做了谨慎设计所要求的。它停止并提出询问。根据人的回答,它继续执行。

人在回路中的失败与人的位置

命题P6预测,当人类监督集中在几个边界决策(目标、新控制措施的许可、停止)中,且这些决策在获得与现实接触和采取行动时间的情况下做出时,人类监督将发挥作用;而当监督分散在对各个行动的批准中或通过产物进行时,将失败。远程代理对某一行动的是/否提示做出回答属于第二种情况。

软件在规模上显示出同样的分裂。一位开发者报告说,用户批准了97%的权限提示,在一项有1,053名测试者的研究中,人类识别了13.6%的危险命令,而自动分类器识别了89%。按照论文的说法:"被要求批准每一步的人类成为了橡皮图章。"

物理AI监督需要时间和访问权限

一个身体带来了时间和不可逆性。存储库中的错误判决可以被撤销,但在道路速度下作出的判决则不能。该论文指出,在其实地记录中有效的人工干预需要物理系统可能无法提供的时间和访问权限。它从这些物理案例中进一步指出:处于边界位置的人类需要能够访问世界并有时间采取行动。

道路记录在其他地方也显示了同样的矛盾。在2018年Tempe车祸中,调查人员发现系统设计"排除了用于碰撞缓解的紧急制动激活,转而依靠操作员的干预",而操作员"持续的视觉分散,这是自动化自满的典型表现"导致她未能及时看到行人。

欧盟人工智能法案第14条人类监督

欧盟人工智能法案第14条要求对高风险人工智能系统进行人类监督,按照该论文在其附录I中记录的时间表进行:一项2026年修正条例将独立高风险系统的义务改为2027年12月2日,产品嵌入型系统改为2028年8月2日。第26条要求部署者将监督权分配给具有"必要的能力、培训和权力,以及必要的支持"的人员。该论文将这些词语理解为P6在法定形式下的测试:停止的权力,以及提供访问权和时间的支持。它还警告说:"可以通过添加批准提示来满足的监督要求本身可能成为第二个群体。"

这两条道路记录各自记录该论文定义的一个条件。所有三个条件在一个组件中同时出现的频率"在此处的记录中未确定"。

完整部分:在道路上 (6.2)、为什么一个实体改变问题 (6.1)、命题P6、权限提示 (8.4)、人类监督要求 (11.4)、监管记录 (附录 I)。

阅读完整论文

Chernets, V. (2026). AI-Watchbird (Sheckley): When Automated Oversight Widens Its Own Mandate and Harms What It Guards. SSRN 7473658. https://doi.org/10.2139/ssrn.7473658

Vadym Chernets 还开发了 Poly A1,一个让来自不同公司的人工智能相互检查彼此工作的应用程序。

所有论文和笔记