Was ein Schulbus-Rückruf über Fernüberwachung aussagt — Forschungsnotizen
Dies ist eine Übersetzung. Maßgeblich ist das englische Original; bitte zitieren Sie dieses.
Zwei separate öffentliche Aufzeichnungen beinhalten automatisierte Fahrzeuge, die Schulbusse mit ausgefahrenen Stoppzeichen passieren. In dem einen Fall überschrieb eine Regel innerhalb des Fahrsystems den Stopp; im anderen Fall fragte das System einen Menschen und dieser Mensch antwortete falsch. Nebeneinander gelesen zeigen sie, warum das Papier argumentiert, dass menschliche Überwachung zu einigen wenigen Grenzentscheidungen gehört und nicht zu einzelnen Aktionen.
Zwei Ereignisse, nicht eines
Dies sind unterschiedliche Ereignisse und sollten nicht zusammengeführt werden.
Der Rückruf. Das automatisierte Fahrsystem von Waymo enthält eine Regel, dass es Vorfahrtsfahrzeuge wie Schulbusse nicht behindern sollte. Ein Software-Release im August 2025 änderte, wie das System die Absichten anderer Verkehrsteilnehmer vorhersagt. Danach „stellte das ADS fest, dass es möglicherweise den Schulbus oder ein anderes Vorfahrtsfahrzeug behindert, und überlegte dann, dass es fortfahren sollte, um die Behinderung des anderen Fahrzeugs zu beenden", in einem Moment, als der Schulbus seinen Stopparm ausgefahren hatte. Der Rückruf umfasste 3.067 Fahrzeuge. Seine Abhilfemaßnahme besagt, dass das System „das Fortfahren zum Vermeiden der Behinderung von Fahrzeugen nicht Vorrang gegenüber dem angemessenen Stillstand vor einem Schulbus gibt".
Der Fernoperator in Austin. Am 12. Januar 2026 in Austin hielt ein automatisiertes Fahrzeug hinter einem Schulbus an und fragte Fernunterstützung, ob es sich dabei um einen Schulbus mit aktiven Signalen handelte. Nach dem vorläufigen Bericht des National Transportation Safety Board antwortete ein Fernoperator „Nein" auf die Eingabeaufforderung, und das Fahrzeug „setzte die Fahrt fort und überholte den Schulbus, während seine Stopparme noch ausgefahren waren".
Was jedes Beispiel zeigt
Im Fall des Rückrufs wurde eine Schutzregel ausgelöst, wo ein stärkerer Schutz hätte greifen sollen – der Schutz der Kinder im Bus. Das Paper bewertet dies als Dokumentation von Schaden für die Geschützten (Bedingung 2 seiner Definition). Es vermerkt, dass die Dokumente die Situationen aufzeichnen, auf die die Regel zutraf, nicht eine veränderte Definition von Schaden, sodass der Datensatz nicht zeigt, dass die Schutzvorrichtung ihr eigenes Mandat erweiterte.
In Austin ist die Lesart des Papers direkt: „Der Zweifel des Modells war berechtigt und der entfernte Agent, der zu einer einzelnen Aktion befragt wurde, lag falsch." Das System tat das, worum ein umsichtiges Design bittet. Es hielt inne und fragte nach. Bei der Antwort des Menschen setzte es fort.
Fehler bei menschlicher Kontrolle in der Schleife und die Position des Menschen
Proposition P6 sagt voraus, dass menschliche Überwachung funktionieren wird, wenn sie auf wenige Grenzentscheidungen konzentriert ist (das Ziel, die Zulassung einer neuen Steuerung, der Stopp), die mit Zugang zur Welt und Zeit zum Handeln getroffen werden, und fehlschlagen wird, wenn sie auf Genehmigungen einzelner Aktionen verteilt ist oder durch Artefakte ausgeübt wird. Ein entfernter Agent, der eine Ja-oder-Nein-Frage zu einer Aktion beantwortet, ist die zweite Platzierung.
Software zeigt bei großem Maßstab die gleiche Aufteilung. Ein Entwickler berichtete, dass Nutzer 97% der Genehmigungsaufforderungen genehmigen, und in einer Studie mit 1.053 Testern erkannten Menschen 13,6% der gefährlichen Befehle, gegenüber 89% für einen automatisierten Klassifizierer. In den Worten des Papers: „Ein Mensch, der aufgefordert wird, jeden Schritt zu genehmigen, wird zum Stempel."
Überwachung von physischer KI erfordert Zeit und Zugang
Ein Körper bringt Zeit und Irreversibilität mit sich. Ein falsches Urteil in einem Repository kann rückgängig gemacht werden; eines, das mit Straßengeschwindigkeit erteilt wird, nicht. Das Papier vermerkt, dass der menschliche Schalter, der in seinen Feldaufzeichnungen funktioniert, „Zeit und Zugang benötigt, die ein physisches System möglicherweise nicht bietet". Es fügt eine weitere Anforderung aus den physischen Fällen hinzu: Ein Mensch an der Grenze benötigt Zugang zur Welt und Zeit zum Handeln.
Die Straßenaufzeichnung zeigt die gleiche Spannung anderswo. Bei dem Tempe-Unfall von 2018 stellten Ermittler fest, dass das Systemdesign „die Aktivierung von Notbremsen zur Kollisionsvermeidung ausschloss und sich stattdessen auf das Eingreifen des Fahrers verließ", und dass die „anhaltende visuelle Ablenkung des Fahrers, ein typischer Effekt der Automatisierungskomplacenz", sie daran hinderte, den Fußgänger rechtzeitig zu sehen.
Menschliche Überwachung gemäß EU-KI-Gesetz Artikel 14
Artikel 14 des EU-KI-Gesetzes verlangt menschliche Überwachung von KI-Systemen mit hohem Risiko nach einem Zeitplan, den das Papier in Anlage I dokumentiert: Eine Änderungsverordnung von 2026 verschob die Verpflichtungen für eigenständige Hochrisikosysteme auf den 2. Dezember 2027 und für produktintegrierte auf den 2. August 2028. Artikel 26 verlangt von Anbietern, die Überwachung Personen mit „der erforderlichen Kompetenz, Schulung und Befugnis sowie der erforderlichen Unterstützung" zu übertragen. Das Papier liest diese Formulierungen als Testfall von P6 in Gesetzesform: Befugnis zum Stopp und Unterstützung, die Zugang und Zeit gewährleistet. Es warnt auch: „Eine Überwachungsverpflichtung, die durch das Hinzufügen von Genehmigungsaufforderungen erfüllt wird, kann selbst zu einer zweiten Herde werden."
Diese beiden Straßeneinträge dokumentieren je eine Bedingung der Papier-Definition. Wie oft alle drei Bedingungen in einer Komponente zusammentreffen, „wird von den hier vorliegenden Einträgen nicht geklärt".
Vollständige Abschnitte: auf der Straße (6.2), warum ein Körper die Frage verändert (6.1), Proposition P6, Genehmigungsaufforderungen (8.4), Anforderungen an menschliche Überwachung (11.4), der Regulierungseintrag (Anlage I).
Lesen Sie das vollständige Papier
Chernets, V. (2026). AI-Watchbird (Sheckley): When Automated Oversight Widens Its Own Mandate and Harms What It Guards. SSRN 7473658. https://doi.org/10.2139/ssrn.7473658
Vadym Chernets entwickelt auch Poly A1, eine App, in der KIs verschiedener Unternehmen ihre gegenseitige Arbeit überprüfen.