Des recherches menées à plusieurs

Collaborations

Certaines de ces collaborations sont nées d'une question posée sous l'article ou le post de quelqu'un, une autre d'un message qu'on nous a envoyé. Dans chacune, une personne qui construit ses propres modèles, mémoires ou outils de raisonnement travaille avec nous sur une question, en toute transparence. Chaque histoire a son sujet et ses rebondissements.

En trente secondes

Quatre histoires pour l'instant, chacune dans un coin différent de l'IA :

Anagha Langhe a vérifié si faire tourner son modèle en FP8 plutôt qu'en bf16 change ses réponses. Une réponse sur 120 a basculé, et quand les deux versions se trompaient, elles choisissaient la même mauvaise réponse 42 fois sur 48.
Mark Goodbody a écrit des cas de décision pour voir si ses cadres de raisonnement changent ce que décident ChatGPT et Claude. Sur une seule exécution par version, ce n'est pas le cas : les décisions sont restées les mêmes, et les modèles distinguaient déjà, la plupart du temps, une affirmation modifiée d'une action modifiée.
Mohan Bheemadolu condense la mémoire d'un agent en minuscules codes avec FlyHash. Ensemble, nous avons monté un test pour savoir si une mémoire plus petite pousse deux IA qui se vérifient mutuellement à s'accorder plus souvent sur la même mauvaise réponse.
Milena Josimov, de top10ai.com, a écrit sur Poly Duo et nous renvoyons vers ses guides. Nous discutons maintenant d'une comparaison de créateurs d'applications IA avec ChatGPT et Claude.

Les histoires

Anagha a posé les mêmes 120 questions à une version bf16 de son modèle et à une version FP8. Une seule réponse a basculé. Quand les deux se trompaient, elles donnaient la même mauvaise réponse 42 fois sur 48.

Le FP8 change-t-il les réponses d'un modèle ? Un basculement sur 120

avec Anagha Langhe · LLM auto-hébergé sur un seul NVIDIA L4

Lire l'histoire →

Trois conseillers recommandent l'école, tous d'après la même carte vieille de deux ans. Un conseiller apporte l'inspection du jour : l'entrée de plain-pied de l'école est fermée. Les deux IA ont compté les trois comme une seule source, avec ou sans le cadre de Mark sous les yeux.

Les modèles d'IA distinguent-ils déjà une affirmation d'une action ?

avec Mark Goodbody · ingénieur systèmes, Royaume-Uni · auteur de Mechanical Ethics et de TRACE

Lire l'histoire →

Quand la mémoire d'un agent avait raté le fait, GPT et Claude ont tout de même donné la même réponse 33 fois, et 15 de ces réponses étaient fausses. FlyHash, de Mohan, rend la mémoire beaucoup plus petite. Rend-il aussi cette erreur partagée plus fréquente ?

Quand la mémoire d'un agent est condensée en codes courts, deux IA s'accordent-elles sur la même mauvaise réponse ?

avec Mohan Bheemadolu · développeur d'agents IA, Redmond · co-auteur de FlyHash for LLM agent memory

Lire l'histoire →

top10ai.com a présenté Poly Duo, nous avons orienté nos lecteurs vers leurs guides, et nous parlons maintenant d'une comparaison de créateurs d'applications IA menée avec ChatGPT et Claude.

Quel créateur d'applications IA choisir ? Une comparaison pour deux IA

avec Milena Josimov · top10ai.com

Lire l'histoire →

Comment fonctionne une collaboration

Vous apportez une question, un système ou des données : un modèle que vous faites tourner, un retriever, un ensemble de cas, un article que vous voulez mettre à l'épreuve.
Nous convenons de ce qu'il faut exécuter et de ce qui comptera comme une réponse, avant de regarder les résultats.
Chacun exécute sa partie. Tout ce qui peut être ouvert l'est : code, prompts, sorties brutes, chiffres.
L'histoire est publiée sur une page comme celles-ci, en mots simples, avec votre nom et vos liens, et elle grandit au fil du travail.

Proposer une collaboration

Dites-nous en quelques lignes sur quoi vous travaillez, ce que vous aimeriez découvrir et où se trouvent votre code ou votre article. Nous lisons tout et répondons personnellement.

[email protected]