Ein Waffendetektor, zwei Arten von Fehlern — Forschungsnotizen
Dies ist eine Übersetzung. Maßgeblich ist das englische Original; bitte zitieren Sie dieses.
Innerhalb eines Jahres übersah ein kameragestütztes Waffenerkennungsprodukt einen Revolver bei einem Schulschießerei und kennzeichnete einen unbewaffneten Schüler in einem anderen Schulbezirk, woraufhin bewaffnete Polizisten anrückten. Das Papier nutzt die beiden Vorfälle, um eine Schutzvorrichtung zu zeigen, die in beide Richtungen fehlerhaft ist.
Der Fehlgriff: Nashville, Januar 2025
Am 22. Januar 2025 schoss ein Schüler der Antioch High School in Nashville einen Klassenkameraden nieder und tötete ihn. Das kameragestützte Waffenerkennungssystem der Schule, Omnilert, erkannte die Pistole nicht. Der Schulbezirk führte dies auf den Standort der Kameras zurück und das System „wurde durch Polizeibeamte aktiviert, die während der Reaktion ihre Waffen zogen".
Weniger als drei Wochen später schlug der Bezirk vor, „Evolv-Systeme an allen 18 High Schools zu mieten und zu installieren", eine zweite Wachschicht aus Scannern. Das Schulverwaltungsrat stimmte über diesen Mietvertrag ab, so kam die zweite Wachschicht durch eine explizite menschliche Entscheidung hinzu. Das Paper ordnet sie bei Schritt 8 seiner Ratsche ein (eine externe Grenze), anstatt sie als eine innerhalb der Schleife hinzugefügte Wachschicht zu zählen.
Was diese Scanner anderswo geleistet hatten, war bereits öffentlich bekannt. In einer Beschwerde vom November 2024 zu einer anderen Schule warf die Federal Trade Commission vor, dass dasselbe Produkt „Berichten zufolge nicht in der Lage war, ein sieben Zoll langes Messer zu erkennen", und dass anschließend „Schulbeamte die Empfindlichkeitseinstellungen des Systems erhöhten, was zu einer Fehlalarmrate von 50 % führte". In den Worten des Papers führte das Drehen des Reglers weg von einem Fehler zu dem anderen, und Menschen drehten daran.
Im September 2025 waren die Scanner in allen High Schools des Bezirks installiert, und das kameragestützte System war weiterhin auf allen seinen Schulen installiert. Nichts wurde außer Betrieb genommen.
Der Fehlalarm: Baltimore County, neun Monate später
Neun Monate nach dem Schusswaffenanfall flaggte Omnilert einen Schüler an einer Schule in Baltimore County als möglicherweise bewaffnet. Ein Bezirksbeamter fragte, wie „wir Polizeibeamte mit gezogenen Waffen auf ein Kind zuschicken konnten, weil es einen Doritos-Beutel hatte".
Marylands Generalinspekteur für Bildung korrigierte diese Darstellung. Das System „erkannte keine einzelne blaue Kartoffelchip-Tüte als Bedrohung"; die Warnung beruhte auf „der Handbewegung des Schülers, einschließlich ihrer Position und ihres Winkels" und einem Objekt in diesem Winkel, das „einer Feuerwaffe ähnelte". Die Überprüfung stellte auch fest, dass:
- das System „täglich Tausende von Warnungen erzeugt", von denen etwa zweihundert das Personal des Anbieters erreichen und etwa zwölf pro Tag das Schulsystem erreichen;
- fünfzehn Personen die Benachrichtigung vom 20. Oktober erhielten;
- Schul- und Polizeipersonal „die Informationen sofort überprüften und die Bedrohung für ungültig befanden" und eine Stornierung sendeten, doch das Warnprotokoll setzte sich fort „aus dem, was als ‚Vorsichtsmaßnahme' beschrieben wurde";
- „das Erkennungssystem und die Überwachungsprotokolle innerhalb der vorgesehenen Parameter operierten".
Die Überprüfung konnte nicht bestätigen, dass eine Personalschulung stattgefunden hatte, da Anwesenheitsprotokolle fehlten, und empfahl eine Überprüfung, wie viele Personen jede Warnung erhalten.
Zwei separate Aufzeichnungen, nicht eine Ursache
Das Papier ist eindeutig: Die Aufzeichnungen aus Nashville und Baltimore County sind separat, die Scanner wurden nur in Nashville hinzugefügt, und es wird keine gemeinsame Ursache der beiden Fehler behauptet. Was sie verbindet, ist das Produkt und das Muster.
Zweiseitiger Fehler, in den Begriffen des Papiers
Proposition P1 besagt, dass Wächter, die Artefakte anstelle von Ergebnissen beurteilen, falsche Ablehnungen und falsche Akzeptanzen im selben Zeitraum erzeugen. Das Papier liest fünf seiner Propositionen in diesen Schulen:
- ein Produkt irrte in beide Richtungen (P1);
- der Fehler wurde mit einem zweiten Wächter beantwortet, dem ein Vorstand die Vermietung beschloss (P3 in Form, Schritt 8 in Autorität);
- die Eskalation setzte sich nach einer Stornierung fort (P4);
- das System funktionierte innerhalb seiner Parameter, während sich ein unbewaffneter Student gezogenen Waffen gegenübersah (P5, ein gefälschter Sieg);
- jeder der fünfzehn Empfänger konnte die Reaktion neu starten (P6, wo der Mensch sitzt).
Proposition P1 zitiert auch einen Krankenhausbericht über zweiseitigen Fehler: ein Sepsis-Modell, das 67% der Sepsis-Fälle in derselben Kohorte übersah, in der es bei 18% aller Patienten Alarm auslöste.
Überwachung physischer KI ohne ein Frontier-Modell
Keine dieser Schutzmaßnahmen ist ein großes Sprachmodell, und das Papier sagt dies. Zweiseitiger Fehler „benötigt kein Modell". Der Punkt ist architektonisch: Die Sorge des Papiers besteht darin, dass Frontier-Modelle jetzt in Stapel derselben Form platziert werden, und dass Modelle Definitionen hinzufügen, die sich ändern, und Kontrollen, die nichts kosten, um sie hinzuzufügen.
Diese Fälle dokumentieren Teile der Definition des Papiers und nicht das Ganze. Jeder Mechanismus ist irgendwo in den Aufzeichnungen des Papiers dokumentiert, aber wie oft alle drei Bedingungen in einer Komponente zusammentreffen, „wird hier durch die Aufzeichnungen nicht geklärt".
Vollständige Abschnitte: Schulen, Krankenhäuser, Netze und Minen (6.4), Propositionen P1 bis P6, warum ein Gremium die Frage ändert (6.1).
Lesen Sie das vollständige Papier
Chernets, V. (2026). AI-Watchbird (Sheckley): When Automated Oversight Widens Its Own Mandate and Harms What It Guards. SSRN 7473658. https://doi.org/10.2139/ssrn.7473658
Vadym Chernets entwickelt auch Poly A1, eine App, in der KIs verschiedener Unternehmen die Arbeit des anderen überprüfen.