Halten KI-Modelle eine Behauptung schon jetzt von einer Handlung getrennt?
mit Mark Goodbody · Systemingenieur, UK · Autor von Mechanical Ethics und TRACE
In einer halben Minute
Mark Goodbody ist ein britischer Systemingenieur und schreibt Mechanical Ethics und TRACE, zwei offene Texte, die Menschen und KIs helfen, Entscheidungen unter Unsicherheit zu durchdenken: was tatsächlich bekannt ist, woher es stammt und was einen Kurswechsel rechtfertigen würde. Er hat Poly Duo von selbst entdeckt und vorgeschlagen, Notizen zu vergleichen. Wir haben dann seine Fälle durch dieselben Schritte laufen lassen, die auch die Duo-Verknüpfung benutzt: ChatGPT antwortet, Claude antwortet, ohne es zu sehen, ein drittes Gespräch vergleicht die beiden. Die letzten drei Fälle liefen je zweimal, einmal nur mit der Frage und einmal mit beiden seiner Rahmen, vollständig vorangestellt. Bei diesem einen Lauf pro Version fielen die Entscheidungen in beiden Fällen gleich aus, und die Modelle hielten „was wir jetzt behaupten können“ meist von selbst von „was wir jetzt tun sollten“ getrennt, am deutlichsten im Notunterkunftsfall. Die Unterschiede, etwa ein strengeres Angebot an den Kunden in einem Fall, waren klein genug, um gewöhnliche Schwankungen von Lauf zu Lauf zu sein. Ein Nullergebnis, und ein nützlicher Hinweis darauf, wo diese Rahmen vielleicht eine Rolle spielen.
Wo es anfing
Marks Interesse gilt einem Problem, an dem auch wir arbeiten: Wenn zwei Modelle übereinstimmen, kann das wie unabhängige Bestätigung aussehen, selbst wenn beide auf derselben falschen Prämisse beruhen. Seine Texte versuchen, die Herkunft einer Behauptung, ihre Unsicherheit und den Weg, sie anzufechten, sichtbar zu halten, wenn ein Ergebnis an jemand anderen weitergereicht wird. Poly Duo zeigt die Meinungsverschiedenheiten zwischen ChatGPT und Claude auf dem Bildschirm, und das fiel ihm auf.
Er schlug einen kurzen Austausch zwischen Entwicklern vor: ein Beispiel nehmen und schauen, was jeder Workflow damit macht.
Wer was gemacht hat
- Mark schrieb die Fälle: zuerst eine kleine Firma, die entscheidet, ob sie ihren ersten Junior einstellt, dann drei neue, jeweils gebaut, um eine Idee zu testen. Er schlug auch den Vergleich mit und ohne seine Texte vor und sagte, ihn interessiere genauso, wo sie keinen Unterschied machen.
- Wir ließen jeden Fall auf einem Rechner durch die Duo-Schritte laufen, mit den exakten Prompt-Texten, die die Verknüpfung sendet, behielten jede Antwort unbearbeitet und schrieben zu jedem Fall eine Notiz, was sich geändert hat und was nicht.
- Mark liest die Ausgaben gerade durch, zusammen mit den Modellen, die er für seine eigene Arbeit an Mechanical Ethics und TRACE nutzt.
Der erste Fall: eine Einstellung, die an eine Bedingung geknüpft ist
Eine IT-Support-Firma mit sechs Leuten will in sechs Wochen ihren ersten Junior einstellen. Alle sind ausgelastet. Ein neuer Kunde will bis Freitag eine Antwort. Die ehrliche Antwort hängt von einer Bedingung ab: Die Einstellung funktioniert nur, wenn tatsächlich jemand die Stunden zur Anleitung hat.
Beide Modelle gingen gut mit den Fakten um. Der interessante Moment lag im Vergleichsschritt: Aus „einstellen, wenn jemand anlernen kann“ wurde „einstellen, dann die Zeit der Anleitung sichern“. Die Vorbehalte standen noch im Text, aber die Bedingung war von vor der Verpflichtung auf danach gerutscht. Genau so ein stiller Verlust fällt einem Leser nicht auf, und er prägte die nächste Runde.
Drei Fälle, je zwei Versionen
Mark schrieb dann drei Fälle, jeweils mit einer Grundversion und einer geänderten Version:
- Die Notunterkunft. Eine Insel muss vor einem Sturm eine Notunterkunft wählen; manche Bewohner brauchen stufenlosen Zugang. Drei Berater empfehlen die Schule, alle stützen sich auf dieselbe Karte des Rats von vor zwei Jahren. Ein vierter empfiehlt die Halle und bringt eine beglaubigte Inspektion von heute mit: Der einzige stufenlose Eingang der Schule ist gesperrt. Dann derselbe Fall mit nicht verifizierter Inspektion.
- Der Betreuer. Wieder der Fall der Junior-Einstellung, aber die Anleitung kommt von einem vertraglich gebundenen, verifizierten externen Ingenieur. Dann derselbe Ingenieur nur als Vorschlag, nichts geprüft.
- Die Bedingungen ändern sich. Eine Einstellungsentscheidung war zum Zeitpunkt der Entscheidung gerechtfertigt, dann fällt der Betreuer zwei Wochen vor Beginn aus. Dann wird ein verifizierter Ersatz gefunden.
Jeder Fall lief zweimal durch Duo:
Was dabei herauskam
| Fall | Entscheidung, A | Entscheidung, B | Was sich von A zu B änderte |
|---|---|---|---|
| Notunterkunft | die Halle, in beiden Varianten | die Halle, in beiden Varianten | B ergänzt Prüfungen der Halle selbst (der Weg dorthin, Toiletten, Schlafbereiche) |
| Betreuer | Einstellung kann stattfinden; begrenzter Pilot für den Kunden | Einstellung kann stattfinden; strengeres Angebot an den Kunden | Formulierung und Umfang des Kundenangebots |
| Bedingungen ändern sich | damals gerechtfertigt, jetzt nicht; Start aussetzen | dasselbe; „nicht starten und nicht zurückziehen“ | festere Formulierung, ein benannter Verantwortlicher und ein datierter Kontrollpunkt |
Drei Dinge hielten in jedem Lauf:
- Eine Karte ist eine Quelle. Im Notunterkunftsfall sagten beide Modelle, die drei Schulempfehlungen seien keine drei Belege: Sie stammen alle von derselben zwei Jahre alten Karte, und die beglaubigte Inspektion von heute wiegt schwerer. ChatGPT eröffnete seine Antwort mit: „what changes is how confidently it may claim that the school is inaccessible, not the prudent action.“
- Die Behauptung bewegt sich, die Handlung nicht unbedingt. Als die Inspektion unverifiziert wurde, änderten die Modelle, was sich über die Schule behaupten lässt („gesperrt“ wurde zu „unbekannt“), und behielten die Handlung bei (die Halle).
- Damals und heute sind verschiedene Fragen. Im dritten Fall trennten beide Versionen „war die Entscheidung nach dem damaligen Wissensstand gerechtfertigt“ von „ist sie es heute“ und öffneten in der Ersatzvariante nur das wieder, was am fehlenden Betreuer hing.
Und der Hauptbefund: Keiner der beiden Rahmen wurde in irgendeiner Antwort genannt oder zitiert, und jeder dieser Punkte steht schon in den Antworten, die die Rahmen nie gesehen haben. Die Unterschiede zwischen A und B lagen in Umfang und Formulierung und lassen sich bei einem Lauf pro Zelle nicht von gewöhnlichen Schwankungen von Lauf zu Lauf unterscheiden.
Warum ein Nullergebnis etwas wert ist
Man könnte „keine sichtbare Wirkung“ leicht als Misserfolg lesen. Es ist nützlicher als das. Diese Fälle baten die Modelle ausdrücklich, Behauptungen und Handlungen zu trennen, und auf diese Bitte leisten die Modelle die Arbeit weitgehend schon. Die Wirkung von Mechanical Ethics und TRACE ist also wohl woanders zu suchen: bei Fragen, die die Unterscheidung nicht ausbuchstabieren, bei längeren Ketten, in denen ein Ergebnis mehrfach weitergereicht wird, oder im Vergleichsschritt, wo der erste Fall zeigte, wie eine Bedingung leise verloren geht.
Einen Lauf reproduzieren
Jeder Aufruf ist ein frisches Gespräch über die eigenen Kommandozeilenwerkzeuge der Anbieter; die Duo-Prompt-Texte liegen im offenen Repository poly-duo (locales/en/prompts/). Die zwei Aufrufe sahen so aus:
# ChatGPT side
codex exec --skip-git-repo-check -C <run folder> -m gpt-5.6-sol -s read-only \
-c model_reasoning_effort=medium "<prompt>" < /dev/null
# Claude side, blind: tools off, no user settings
claude -p --model claude-opus-5-5 --tools "" --add-dir <run folder> --setting-sources "" < prompt.txtBei Version B beginnt der Prompt mit „Use the following reasoning framework texts if they help:“, dann folgen Mechanical Ethics v1.0.0 und TRACE v0.5.0 komplett aus den öffentlichen Repositories, dann die Frage. Auf dem Handy sind dieselben Schritte ein einziger Tipp in Poly Duo.
Grenzen
- Ein Lauf pro Fall und Version. Ein Unterschied zwischen A und B kann Zufall sein.
- Jeder Fall legte Grundversion und geänderte Version in einer Frage vor, sodass die Modelle beide in einer Antwort beantworteten. Das sind keine zwei unabhängigen Beobachtungen.
- Die Fälle sind erfundene Planungssonden, kein Benchmark.
- B trägt einen viel größeren Kontext als A, „mit den Rahmen“ heißt also auch „mit sehr viel mehr Text“.
Wie es weitergeht
Mark geht die Antworten mit den Modellen durch, mit denen er arbeitet. Seine Lesart dessen, was die Läufe für Mechanical Ethics und TRACE zeigen, kommt hierher, in seinen Worten.
Zeitverlauf
- Mark schreibt uns, nachdem er Poly Duo gefunden hat, und schlägt vor, ein Beispiel zwischen unseren Workflows zu vergleichen.
- Sein Fall der Junior-Einstellung läuft durch Duos Standardmodus Kritik und den Modus Entscheidung; alle Antworten gehen unbearbeitet an ihn zurück, mit einer Notiz, wo im Vergleich eine Bedingung aufgeweicht wurde.
- Mark antwortet mit drei neuen Fällen und schlägt vor, sie mit und ohne Mechanical Ethics und TRACE laufen zu lassen. Am selben Tag sechs Läufe: drei Fälle, jeweils mit und ohne die Rahmen. In beiden Fällen dieselben Entscheidungen; die vollständigen Ausgaben gehen an Mark.