Wie man ein KI-Tool für die eigene Arbeit auswählt — Forschungsnotizen
Dies ist eine Übersetzung. Maßgeblich ist das englische Original; bitte zitieren Sie dieses.
Wer heute ein KI-Tool auswählt, steht vor einem vollen Regal und viel selbstbewussten Ratschlägen. Rezensionen können hilfreich sein, aber keine hat Ihre Aufgabe gesehen. Diese Notiz beschreibt eine Auswahlmethode, die haltbar ist, und sie beruht auf einer Idee aus dem Papier, aus dem sie stammt: Wenn mehrere KIs übereinstimmen, ist das nicht dasselbe wie mehrere unabhängige Zeugen.
Beginnen Sie mit Bewertungen, dann testen Sie an Ihrer eigenen Aufgabe
Vergleichsartikel sind ein vernünftiger erste Schritt. Sie zeigen, welche Tools es gibt, wofür jedes bekannt ist und wo Menschen uneins sind. Zum Beispiel hat top10ai.com über Poly Duo in seinem Vergleich Claude vs ChatGPT geschrieben, und die gleiche Website führt eine Liste von Tools für Menschen, die Software ohne Programmieren bauen möchten: best AI app builder. Listen wie diese sagen Ihnen, was Sie versuchen sollten. Sie können Ihnen nicht sagen, welches Tool zu dem passt, das Sie diese Woche tatsächlich tun müssen.
Nehmen Sie sich also eine echte Aufgabe von Ihnen selbst, klein genug, um sie selbst zu beurteilen, und geben Sie die gleiche Anfrage zwei oder drei Tools. Ein Entwurf einer E-Mail, eine Tabellenkalkulationsformel, ein kurzer Plan, eine erste Version einer kleinen App. Lesen Sie dann die Ergebnisse nebeneinander. Sie werden Unterschiede im Ton sehen, in dem, was jedes Tool angenommen hat, und in dem, was es weggelassen hat, und diese sind die Unterschiede, die für Ihre Arbeit wichtig sind.
Eine sichere Antwort ist keine korrekte Antwort
Das Papier macht einen Punkt, der für jedes Werkzeug im Regal gilt. Jemand, der ein Sprachmodell eine Frage stellt, kann eine sicher falsche Antwort nicht von einer sicher richtigen unterscheiden, weil die beiden an der Oberfläche gleich aussehen. Mehrere Modelle zu befragen scheint das Problem zu beheben, aber es verlagert es hauptsächlich: Wenn sie alle dasselbe sagen, halten Sie nun einen sicheren Text, der die ausgeliehene Autorität von „mehrere von ihnen waren sich einig" trägt.
Der Grund dafür ist, dass Modelle Trainingsdaten und Gewohnheiten teilen, sodass ihre Fehler korreliert sind. Das Papier zitiert eine Messung eines Gremiums von neun führenden Richtern aus sieben Modellfamilien, die etwa zwei unabhängige Stimmen wert war (Kohli, 2026), und eine Feststellung, dass der beste einzelne Richter das ganze Gremium erreichte oder schlug. Das Hinzufügen von mehr Modellen derselben Art bringt Ihnen nicht viel mehr Sicherheit. Siehe den Abschnitt des Papiers darüber, wie viele unabhängige Zeugen ein Rat wert ist und über die Obergrenze.
Nutzen Sie eine zweite Meinung, die anderer Meinung sein darf
Hilfreich ist eine zweite KI, idealerweise von einem anderen Unternehmen, der es erlaubt ist, anderer Meinung zu sein. Zwei Gewohnheiten reichen für die tägliche Nutzung:
- Bitten Sie das zweite Tool, die erste Antwort zu überprüfen und alles zu benennen, das es ändern würde, anstatt es zu bitten, die Antwort zu bestätigen.
- Behalten Sie die Meinungsverschiedenheiten. Wenn sich zwei Antworten unterscheiden, ist das die Stelle, an der Sie genau hinschauen, eine Quelle überprüfen oder eine Person fragen sollten.
Das Papier unterscheidet zwei Methoden zum Sammeln der zweiten Meinung: eine blinde, bei der das zweite Modell die erste Antwort nicht sieht, und eine informierte, bei der es dies tut. Die informierte Methode kann einen konkreten Fehler erkennen, während die blinde Methode die zwei Antworten unabhängiger hält. Jede hat Vor- und Nachteile, und die Diskussion von blinder und informierter Elizitation legt die Abwägungen dar. Das Papier merkt auch seine eigenen Grenzen an: Die Behauptung, dass eine zusammengeführte Antwort besser ist als die beste einzelne, wird aus Design und verwandten Arbeiten abgeleitet, und die vorgeschlagene Evaluierung wurde noch nicht durchgeführt.
Eine kurze Checkliste
- Nutzen Sie Bewertungen, um eine Shortlist von zwei oder drei Tools zu erstellen.
- Führen Sie dieselbe echte Aufgabe durch jedes Tool aus und vergleichen Sie die Ergebnisse selbst.
- Wählen Sie dasjenige aus, das Ihrer Arbeit entspricht, und bitten Sie dann ein Tool eines anderen Unternehmens, seine Ausgabe bei allem zu überprüfen, das wichtig ist.
- Behandeln Sie Übereinstimmung als einen Hinweis, nicht als Beweis, und überprüfen Sie Fakten, die Kosten verursachen, wenn sie falsch sind.
Poly Duo, unsere App, ist um die Gewohnheit der Zweitmeinung herum aufgebaut: zwei KIs von verschiedenen Unternehmen überprüfen gegenseitig ihre Arbeit auf Ihrem Telefon, sodass die Kreuzprüfung nur einen Tap statt eines Kopieren-und-Einfügens erfordert. Die Methode hängt jedoch nicht von einer bestimmten App ab. Sie können dies von Hand mit zwei beliebigen Tools durchführen, und das Paper beschreibt genau, wie.
Vadym Chernets erstellt auch Poly, eine App, in der KIs von verschiedenen Unternehmen gegenseitig ihre Arbeit überprüfen.