Algumas delas começaram com um comentário que deixamos embaixo do artigo ou do post de alguém, outras com uma mensagem que nos mandaram. Cada uma tem seu assunto e suas reviravoltas.
Em meio minuto
Três pessoas, três perguntas diferentes. Cada uma constrói algo próprio, e a gente trabalha com ela numa pergunta, às claras.
Anagha Langhe quis saber se uma versão mais leve do modelo dela (FP8) responde pior. Em 120 perguntas, só uma passou de certa para errada.
Mark Goodbody testou se os frameworks de raciocínio dele mudam o que o ChatGPT e o Claude decidem. Nessas rodadas, as principais distinções apareceram com e sem eles, então ainda não há benefício estabelecido: os modelos já separam sozinhos "o que dá para dizer" de "o que devemos fazer".
Mohan Bheemadolu espreme a memória de um agente em códigos minúsculos, e juntos estamos testando se isso faz duas IAs concordarem mais vezes na mesma resposta errada.
Anagha fez as mesmas 120 perguntas a uma versão bf16 do modelo dela e a uma versão FP8. Só uma resposta mudou. Quando as duas erraram, deram a mesma resposta errada 42 vezes em 48.
Três consultores recomendam a escola, todos com base no mesmo mapa de dois anos atrás. Um deles traz a inspeção de hoje dizendo que a entrada sem degraus da escola está fechada. As duas IAs contaram os três como uma única fonte, com ou sem o framework do Mark diante delas.
Quando a memória de um agente não tinha o fato, o GPT e o Claude ainda deram a mesma resposta 33 vezes, e 15 delas estavam erradas. O FlyHash do Mohan liga apenas alguns bits ativos por memória. Um código mais comprimido torna esse erro compartilhado mais comum?
Você traz uma pergunta, um sistema ou alguns dados: um modelo que você roda, uma memória para um agente, um conjunto de casos, um artigo que você quer pôr à prova.
Antes de olhar qualquer resultado, combinamos o que rodar e o que vai contar como resposta.
Cada lado roda a sua parte. Tudo o que pode ser aberto é aberto: código, prompts, respostas brutas, números.
A história vai para uma página como estas, em palavras simples, com seu nome e seus links, e cresce conforme o trabalho avança.
Propor uma colaboração
Conte em poucas linhas no que você está trabalhando, o que gostaria de descobrir e onde ficam seu código ou seu artigo. Lemos tudo e respondemos pessoalmente.