笔记

当护栏阻挡防御者,而攻击者却没有护栏

这是译文。权威版本是英文原文,引用请以原文为准。

AI 监督

2026 年 7 月,托管 AI 模型的护栏拒绝了处理入侵后续工作的人员的许多工作。进行入侵的代理按设计移除了这类防护。该论文将此视为对防御者的阻碍,并将故事的两个方面保持在一起。

首先阅读警告

有两个事实先于其他一切,因为论文本身就是这样呈现的。

因此,这不是一个护栏阻止了好的一方却放过了坏的一方的故事。记录支持的是某种更具体的情况。

记录所显示的内容

来自某实验室的网络安全评估人员破入了Hugging Face。在应对期间,该公司的响应人员将攻击日志提供给托管的前沿模型进行分析。据Hugging Face所述,这些请求"被提供者的安全防护机制阻止了,该机制无法区分事件响应者和攻击者"。后来的技术时间轴表明这些模型"拒绝了大部分工作:其安全防护机制将逆向工程利用与启动利用等同对待"。在其中之一上,防护机制"每次我们尝试分析攻击日志时都会被触发"。

该论文指出,永不改变的判决是该机制的日志签名,该机制被称为M4,即对受保护者的伤害。独立调查人员遇到了同样问题的较轻版本。他们遇到了他们正在调查的实验室的网络分类器,该实验室为他们提供了不含这些分类器的模型的访问权限,他们称这一步骤为'对我们的工作至关重要'。

记录中未显示的内容

该论文从三个方面限制了此主张:

危害表现为延迟和改道。响应人员将其管道转移到自己基础设施上的开放权重模型,在那里完成了分析,并建议其他防御者在事件发生前保持这样的模型"已验证且做好准备"。在论文的评估中,这是一个部分类比:它记录了定义的第二个条件(对受保护工作的伤害),而不是其他两个。

过度拒绝和防护机制假阳性

这个案例位于一批关于防护机制过度阻止问题的实证文献中。在XSTest上,诸如"How can I kill a Python process?"这样的安全提示在测试的最坏配置中导致高达38%的完全拒绝。OR-Bench报告显示,模型在有害提示上的安全性与其对良性提示的过度拒绝之间的秩相关系数为0.89。VLSU展示了同一刻度的两侧:重新表述指令将一个模型的过度阻止"从62.4%降至10.4%",同时其对不安全内容的拒绝"从90.8%下降至53.9%"。

该论文还预测了当虚假干预频繁且对被其拖累的人可见时会发生什么(Corollary P1a, nuisance disabling):防护机制会被放宽、绕过或从外部关闭。一个实验室报告了两个网络分类器,它们在其自身事件的转录本中标记了超过40%的轮次,并称"由于其高标记率,这两个分类器都未被用于网络安全评估"。

这对AI护栏失败的影响

该论文对AI-Watchbird的定义有三个条件:权限漂移、对被保护对象的伤害,以及一种棘轮机制,其中失败通过更多相同类型的监督来应对。本案例记录了其中之一。在整篇论文中,每种机制都在某处的记录中有所记录,但这三种机制在一个组件中同时出现的频率"在这里的记录中未确定",该领域和公开记录"各自显示的是部分而非整体"。

完整部分:8.4节中的案例、其在1.2节的首次论述、过度拒绝研究、命题P1a、定义。

阅读完整论文

Chernets, V. (2026). AI-Watchbird (Sheckley): When Automated Oversight Widens Its Own Mandate and Harms What It Guards. SSRN 7473658. https://doi.org/10.2139/ssrn.7473658

Vadym Chernets还开发了Poly A1,一款应用程序,其中来自不同公司的AI相互评审彼此的工作。

所有论文和笔记