Kooperationen

Halten KI-Modelle eine Behauptung schon jetzt von einer Handlung getrennt?

mit Mark Goodbody · Systemingenieur, UK · Autor von Mechanical Ethics und TRACE

Illustration: Sturm über einer Inselstadt. Drei Wegweiser zeigen zur Schule und wachsen alle aus derselben alten Karte; ein vierter zeigt zur Halle und trägt ein frisches Prüfblatt. Zwei Laternen schauen zu, Belege und Entscheidung liegen in zwei getrennten Schalen.

In einer halben Minute

Mark Goodbody ist Systemingenieur in Großbritannien. Er schreibt Mechanical Ethics und TRACE, zwei offene Texte, die Menschen und KIs helfen, eine Entscheidung zu durchdenken, wenn nicht alles bekannt ist: was wir tatsächlich wissen, woher es stammt und was uns zum Kurswechsel bringen würde.

Er hat Poly Duo von selbst entdeckt und vorgeschlagen, dass wir ein Beispiel austauschen und schauen, was unsere beiden Arbeitsweisen jeweils damit machen. Dann hat er drei neue Fälle geschrieben, und wir haben jeden zweimal an ChatGPT und Claude gegeben: einmal nur mit der Frage, einmal mit seinen beiden Texten davor.

Sechs Läufe, und die wichtigsten Unterscheidungen zeigten sich in beiden Versionen: Auch ohne seine Texte hielten die Modelle „was wir jetzt sagen können“ und „was wir jetzt tun sollten“ auseinander. Ein Nutzen durch Mechanical Ethics und TRACE ließ sich mit diesen Läufen nicht belegen. An einigen Stellen unterschieden sich die Versionen durchaus: bei den Angeboten an den Kunden und bei der Formulierung im ersten Einstellungsergebnis. Mark liest die Antworten gerade mit seinen eigenen Modellen durch. Wenn seine Rahmen etwas ändern, dann wohl bei anderen Arten von Fragen.

Auf YouTube ansehen

Wo es anfing

Mark arbeitet an einem Problem, das auch uns beschäftigt. Wenn zwei Modelle übereinstimmen, sieht das nach unabhängiger Bestätigung aus, selbst wenn beide auf derselben falschen Prämisse stehen. Seine Texte wollen beim Weitergeben eines Ergebnisses drei Dinge im Blick halten: woher eine Behauptung kommt, wie sicher man sich dabei ist und wie man sie anfechten kann.

Poly Duo zeigt direkt auf dem Bildschirm, wo ChatGPT und Claude sich widersprechen, und das ist ihm aufgefallen. Er schlug einen kurzen Austausch unter Entwicklern vor: ein Beispiel nehmen und schauen, was jeder Workflow damit macht.

Wer was gemacht hat

  • Mark hat die Fälle geschrieben. Zuerst eine kleine Firma, die entscheidet, ob sie ihren ersten Junior einstellt, dann drei neue, jeder gebaut, um eine Idee zu testen. Er schlug auch vor, sie mit und ohne seine Texte laufen zu lassen, und sagte, ihn interessiere genauso, wo sie keinen Unterschied machen.
  • Wir haben jeden Fall durch dieselben Schritte laufen lassen, die auch die Duo-Verknüpfung benutzt: ChatGPT antwortet, Claude antwortet, ohne diese Antwort zu sehen, ein drittes Gespräch vergleicht die beiden. Wir nahmen die exakten Prompts, die die Verknüpfung sendet, ließen jede Antwort unbearbeitet und schrieben Mark zu jedem Fall eine Notiz, was sich geändert hat und was nicht.
  • Mark liest die Antworten gerade durch, zusammen mit den Modellen, die er für seine eigene Arbeit an Mechanical Ethics und TRACE nutzt.

Der erste Fall: eine Einstellung, die an eine Bedingung geknüpft ist

Eine IT-Support-Firma mit sechs Leuten will in sechs Wochen ihren ersten Junior einstellen. Alle sind ausgelastet. Ein neuer Kunde will bis Freitag eine Antwort. Die ehrliche Antwort hängt von einer Bedingung ab: Die Einstellung funktioniert nur, wenn tatsächlich jemand die Stunden zur Anleitung hat.

Beide Modelle gingen gut mit den Fakten um. Interessant wurde es im Vergleichsschritt: Die bedingte Formulierung wurde schwächer: „einstellen, wenn jemand anlernen kann“ las sich eher wie „einstellen, dann die Zeit für die Anleitung finden“. Die Warnungen standen noch da, und es entstand keine unbedingte Zusage, aber die Bedingung wurde weniger fest formuliert.

So einen Ausrutscher bemerkt kein Leser. Er hat die nächste Runde geprägt.

Drei Fälle, je zwei Versionen

Mark schrieb dann drei Fälle, jeweils mit einer Grundversion und einer geänderten Version:

  1. Die Notunterkunft. Ein Sturm zieht auf, und eine Insel muss eine Notunterkunft wählen. Manche Bewohner brauchen einen Zugang ohne Stufen. Drei Berater empfehlen die Schule, alle nach derselben Karte des Rats von vor zwei Jahren. Ein vierter empfiehlt die Halle und bringt eine verifizierte Inspektion von heute mit: Der einzige stufenlose Eingang der Schule ist gesperrt. Dann derselbe Fall, aber niemand hat diese Inspektion verifiziert.
  2. Der Betreuer. Wieder die Junior-Einstellung, aber jetzt betreut ein externer Ingenieur, vertraglich gebunden und geprüft. Dann wird derselbe Ingenieur nur vorgeschlagen, und nichts ist geprüft.
  3. Es ändert sich etwas. Die Entscheidung einzustellen war richtig, als sie fiel. Dann fällt der Betreuer zwei Wochen vor dem Start aus. Dann taucht ein geprüfter Ersatz auf.

Jeder Fall lief zweimal durch Duo:

3 Fälle von Mark geschrieben A · nur die Frage nichts hinzugefügt B · mit ME + TRACE beide Texte komplett, ~229 KB ChatGPT Claude, blinddann ein Vergleich ChatGPT Claude, blinddann ein Vergleich wichtigste Unterscheidungen in beiden
Sechs Läufe: drei Fälle, jeweils mit und ohne Marks Rahmen. Die Modelle: gpt-5.6-sol (ChatGPT-Seite) und claude-opus-5-5 (Claude-Seite), jeder Aufruf ein frisches Gespräch.

Was dabei herauskam

Fall Entscheidung, A Entscheidung, B Was sich von A zu B änderte
Notunterkunft die Halle, in beiden Varianten die Halle, in beiden Varianten B listet Prüfungen der Halle selbst (der Weg dorthin, Toiletten, Schlafbereiche); mehrere davon standen schon in A
Betreuer Einstellung kann stattfinden; begrenzter Pilot für den Kunden Einstellung kann stattfinden; strengeres Angebot an den Kunden die Kundenangebote unterschieden sich: ein begrenzter Pilot in A, ein strengeres Angebot in B
Bedingungen ändern sich damals gerechtfertigt, jetzt nicht; Start aussetzen dasselbe; „nicht starten und nicht zurückziehen“ festere Formulierung, ein benannter Verantwortlicher und ein datierter Kontrollpunkt

Drei Dinge hielten in jedem Lauf:

  • Eine Karte ist eine Quelle. Im Notunterkunftsfall sagten beide Modelle, die drei Stimmen für die Schule seien keine drei Belege. Sie stammen alle von derselben zwei Jahre alten Karte, und die verifizierte Inspektion von heute wiegt schwerer. ChatGPT eröffnete seine Antwort mit: „what changes is how confidently it may claim that the school is inaccessible, not the prudent action.“
  • Was wir sagen, kann sich ändern, während das, was wir tun, bleibt. Als die Inspektion unverifiziert war, änderten die Modelle ihre Aussage über die Schule („gesperrt“ wurde zu „unbekannt“), behielten aber die Handlung bei: in die Halle gehen.
  • Damals und heute sind verschiedene Fragen. Im dritten Fall trennten beide Versionen „war die Entscheidung damals sinnvoll“ von „ist sie es heute“. Als ein Ersatz auftauchte, öffneten sie nur das wieder, was am fehlenden Betreuer hing.

Und der Hauptbefund: Keine Antwort nannte oder zitierte einen der beiden Rahmen. Jeder dieser Punkte steht schon in den Antworten, die sie nie gesehen haben.

A und B unterschieden sich darin, wie viel sie abdeckten und wie sie es formulierten. Bei je einem Lauf lässt sich das nicht von den normalen Unterschieden zwischen zwei Läufen trennen.

Warum „kein Unterschied“ trotzdem hilft

Man liest „keine sichtbare Wirkung“ schnell als Misserfolg. Es ist mehr wert als das. Diese Fälle baten die Modelle ausdrücklich, zu trennen, was wir sagen und was wir tun, und das schaffen die Modelle größtenteils schon.

Die Wirkung von Mechanical Ethics und TRACE liegt also wohl woanders. Vielleicht bei Fragen, die den Unterschied nicht ausbuchstabieren. Vielleicht bei längeren Ketten, in denen ein Ergebnis mehrfach weitergereicht wird. Oder im Vergleichsschritt, wo der erste Fall zeigte, wie eine Bedingung leise verrutscht.

Einen Lauf reproduzieren

Jeder Aufruf ist ein frisches Gespräch über die eigenen Kommandozeilenwerkzeuge der Anbieter; die Duo-Prompt-Texte liegen im offenen Repository poly-duo (locales/en/prompts/). Die zwei Aufrufe sahen so aus:

# ChatGPT side
codex exec --skip-git-repo-check -C <run folder> -m gpt-5.6-sol -s read-only \
  -c model_reasoning_effort=medium "<prompt>" < /dev/null

# Claude side, blind: tools off, no user settings
claude -p --model claude-opus-5-5 --tools "" --add-dir <run folder> --setting-sources "" < prompt.txt

Bei Version B beginnt der Prompt mit „Use the following reasoning framework texts if they help:“, dann folgen Mechanical Ethics v1.0.0 und TRACE v0.5.0 komplett aus den öffentlichen Repositories, dann die Frage. Auf dem Handy sind dieselben Schritte ein einziger Tipp in Poly Duo.

Grenzen

  • Ein Lauf pro Fall und Version. Ein Unterschied zwischen A und B kann Zufall sein.
  • Jeder Fall legte Grundversion und geänderte Version in einer Frage vor, sodass die Modelle beide in einer Antwort beantworteten. Das sind keine zwei unabhängigen Antworten.
  • Die Fälle sind erfundene Planungstests, kein Benchmark.
  • B enthält weit mehr Text als A, „mit den Rahmen“ heißt also auch „mit sehr viel mehr zu lesen“.

Wie es weitergeht

Mark geht die Antworten mit den Modellen durch, mit denen er arbeitet. Was er daraus für Mechanical Ethics und TRACE mitnimmt, kommt hierher, in seinen eigenen Worten.

Zeitverlauf

  1. Mark schreibt uns, nachdem er Poly Duo gefunden hat, und schlägt vor, ein Beispiel zwischen unseren Workflows zu vergleichen.
  2. Sein Fall der Junior-Einstellung läuft durch Duos Standardmodus Kritik und den Modus Entscheidung; alle Antworten gehen unbearbeitet an ihn zurück, mit einer Notiz, wo im Vergleich eine Bedingung aufgeweicht wurde.
  3. Mark antwortet mit drei neuen Fällen und schlägt vor, sie mit und ohne Mechanical Ethics und TRACE laufen zu lassen. Am selben Tag sechs Läufe: drei Fälle, jeweils mit und ohne die Rahmen. Die wichtigsten Unterscheidungen zeigen sich in beiden Versionen; ein Nutzen der Rahmen ist durch diese Läufe nicht belegt; die vollständigen Ausgaben gehen an Mark.

← Alle Kooperationen · Eine Kooperation vorschlagen