Manche davon begannen mit einer Frage, die wir unter dem Paper oder Beitrag eines anderen gestellt haben, eine begann mit einer Nachricht, die uns jemand geschickt hat. In jeder arbeitet ein Mensch, der eigene Modelle, Gedächtnisse oder Denkwerkzeuge baut, offen mit uns an einer Frage. Jede Geschichte hat ihr eigenes Thema und ihre eigenen Wendungen.
In einer halben Minute
Bisher vier Geschichten, jede aus einer anderen Ecke der KI:
Anagha Langhe hat geprüft, ob es ihre Antworten verändert, wenn sie ihr Modell in FP8 statt in bf16 laufen lässt. Eine Antwort von 120 kippte, und wenn beide Varianten falsch lagen, wählten sie in 42 von 48 Fällen dieselbe falsche Antwort.
Mark Goodbody hat Entscheidungsfälle geschrieben, um herauszufinden, ob seine Denkrahmen verändern, was ChatGPT und Claude entscheiden. Bei einem einzigen Lauf pro Version taten sie das nicht: Die Entscheidungen blieben gleich, und die Modelle hielten eine geänderte Behauptung meist von selbst von einer geänderten Handlung getrennt.
Mohan Bheemadolu packt das Gedächtnis eines Agenten mit FlyHash in winzige Codes. Gemeinsam haben wir einen Test aufgesetzt: Sorgt ein kleineres Gedächtnis dafür, dass sich zwei prüfende KIs häufiger auf dieselbe falsche Antwort einigen?
Milena Josimov von top10ai.com hat über Poly Duo geschrieben, und wir verlinken ihre Ratgeber. Jetzt sprechen wir über einen Vergleich von KI-App-Buildern mit ChatGPT und Claude.
Die Geschichten
Anagha stellte einer bf16-Variante ihres Modells und einer FP8-Variante dieselben 120 Fragen. Nur eine Antwort kippte. Wenn beide falsch lagen, gaben sie in 42 von 48 Fällen dieselbe falsche Antwort.
Drei Berater empfehlen die Schule, alle nach derselben zwei Jahre alten Karte. Ein Berater hat die heutige Inspektion vorliegen: Der stufenlose Eingang der Schule ist gesperrt. Beide KIs zählten die drei als eine Quelle, mit oder ohne Marks Rahmen davor.
Als das Gedächtnis eines Agenten den Fakt verfehlte, gaben GPT und Claude trotzdem 33-mal dieselbe Antwort, und 15 davon waren falsch. Mohans FlyHash macht das Gedächtnis viel kleiner. Macht es auch diesen gemeinsamen Fehler häufiger?
top10ai.com hat über Poly Duo berichtet, wir haben unsere Leser zu ihren Ratgebern geschickt, und jetzt sprechen wir über einen Vergleich von KI-App-Buildern mit ChatGPT und Claude.
Du bringst eine Frage, ein System oder Daten mit: ein Modell, das du betreibst, einen Retriever, eine Reihe von Fällen, ein Paper, das du auf die Probe stellen willst.
Wir legen fest, was wir laufen lassen und was als Antwort gilt, bevor wir die Ergebnisse sehen.
Beide Seiten führen ihren Teil aus. Alles, was offen sein kann, ist offen: Code, Prompts, Rohausgaben, Zahlen.
Die Geschichte kommt auf eine Seite wie diese, in einfachen Worten, mit deinem Namen und deinen Links, und wächst mit der Arbeit.
Eine Kooperation vorschlagen
Schreib uns in ein paar Zeilen, woran du arbeitest, was du herausfinden möchtest und wo dein Code oder dein Paper liegt. Wir lesen alles und antworten persönlich.