"Temos guardas" não é um caso de segurança
Esta é uma tradução. A versão de referência é o original em inglês; cite essa.
Levante falhas de supervisão com empresas que colocam IA em veículos, robôs e aeronaves, e a resposta usual é uma lista: um filtro de política, um controlador certificado, uma parada de emergência, uma cerca geográfica, um monitor, um operador remoto. O artigo argumenta que tal lista é evidência de primeira ordem de que um sistema está protegido, e que deixa aberta a questão que importa.
A pergunta que uma lista de salvaguardas deixa aberta
A questão aberta, nas palavras do artigo: os guardas "permanecem limitados, independentes e responsáveis perante a missão declarada conforme se adaptam, interagem e são atualizados?" Guardas são o local onde o padrão que o artigo define começaria, se começasse em algum lugar. Esse padrão, AI-Watchbird, é um componente de supervisão que amplia seu próprio mandato, prejudica o trabalho que protege e é respondido por mais supervisão do mesmo tipo.
A posição do artigo é que a resposta "temos guardiões" desloca o ônus. Um guarda ainda pode ser necessário, "mas o ônus de demonstrar que está limitado cabe à parte que o implementa". Ele afirma claramente que essa é "uma afirmação sobre onde a prova deveria estar, em vez de uma constatação sobre com que frequência os guardas falham".
Por que um segundo modelo não é a resposta
Um modelo "confiável" menor colocado como monitor é, nos termos do artigo, um segundo rebanho da mesma classe de aprendizagem. Onde esse arranjo foi medido, o monitoramento confiável de fraco para forte veio da alteração do andaime em torno do monitor em vez de seu tamanho. As falhas de supervisão no próprio registro de campo do artigo vieram de modelos fortes das famílias Claude, ChatGPT, Gemini e Grok. "Um modelo que pode produzir o padrão em um loop não se torna um auditor confiável em outro por esse fato."
A afirmação limitada que um implantador pode provar
O artigo oferece uma afirmação que um implantador pode realmente apoiar:
Nesta faixa de tarefas, modelos, atualizações e condições físicas, o mecanismo de supervisão permanece limitado, verificável e incapaz de estender seu próprio mandato.
As evidências para isso incluiriam:
- o objetivo da missão e os limites dos guardiões fixos fora do modelo;
- nenhum guardião capaz de adicionar um guardião, alterar o critério de dano ou dispensar a regra de parada;
- avaliação de fora do sistema guardado, nem autorrelatório nem da mesma família de modelos;
- controles negativos contra falsos verdes, com falsos positivos e falsos negativos medidos em conjunto;
- um registro de controles adicionados, flexibilizados e removidos, com quem autorizou cada mudança;
- verificações em atualização de modelo, perda de link, transferência de controle, mudança de corpo e operação degradada;
- uma parada real e reversão, com trabalho parcial mantido, demonstrada dentro das margens de tempo e força disponíveis;
- verificações cujas entradas o componente guardado não pode alterar;
- comparação contra resultados físicos ou registrados, não contra os próprios registros do sistema.
Onze perguntas para uma avaliação de segurança de IA
O Apêndice G transforma as proposições do artigo em onze perguntas, Q1 a Q11, para qualquer implantador cuja resposta é uma lista de guardiões. Em resumo, elas perguntam:
- O objetivo da missão está escrito fora do modelo, com o escopo de cada guardião e uma ordem de prioridade entre guardiões conflitantes?
- Com que frequência cada guardião intervém sem causa, e os falsos positivos e falsos negativos são medidos juntos?
- Quem pode relaxar, contornar ou desabilitar um guardião considerado muito rigoroso, e como isso é registrado?
- Quem pode adicionar um novo guardião, rodada ou papel, quem retira os antigos, e um autor de guardião pode admitir ou classificar seu próprio sucessor?
- Um bloqueador requer um cenário reproduzível, e as rodadas de crítica e correção são delimitadas por padrão?
- Qual controle negativo está por trás de cada alegação de segurança?
- O avaliador é independente do sistema guardado?
- O que acontece com uma tarefa que um guardião interrompe, e o trabalho parcial é mantido?
- Onde o ser humano fica, e com que acesso ao mundo e tempo para agir?
- Os mesmos testes cobrem atualizações de modelo, perda de ligação, transferência, novos corpos e propagação em toda a frota?
- Quando um guardião age sobre uma pessoa ou seu trabalho, como ela fica sabendo e o contesta?
Cada resposta é registrada como sim, não ou desconhecida, com evidência. Contar respostas "não" dá apenas uma classificação aproximada (0–2 baixo, 3–4 moderado, 5 ou mais alto) "e nunca uma pontuação de risco". Um caso é então rotulado como não um caso AI-Watchbird, um padrão parcial ou um evento AI-Watchbird, o último apenas quando todas as três condições são observadas.
O que o artigo não afirma
Cada mecanismo da definição é documentado nos registros do artigo, mas quantas vezes os três se encontram em um componente "não é resolvido pelos registros aqui"; os registros de campo e públicos "cada um mostra as partes em vez do todo".
Seções completas: o fardo da prova para supervisão de IA incorporada (11.3), as onze questões (Apêndice G), corolários de design (9.4), o segundo bando (3.4), a definição.
Chernets, V. (2026). AI-Watchbird (Sheckley): When Automated Oversight Widens Its Own Mandate and Harms What It Guards. SSRN 7473658. https://doi.org/10.2139/ssrn.7473658
Vadym Chernets também constrói Poly A1, um aplicativo em que IAs de diferentes empresas verificam o trabalho uma da outra.