Pesquisa feita em conjunto

Colaborações

Algumas delas começaram com um comentário que deixamos embaixo do artigo ou do post de alguém, outras com uma mensagem que nos mandaram. Cada uma tem seu assunto e suas reviravoltas.

Ilustração: quatro bancadas num estúdio ensolarado, uma placa de vídeo com dois medidores, cartas de decisão ao lado de uma ilha sob tempestade, uma vitrine de pontos luminosos com uma mosca-da-fruta e uma fileira de blocos de apps, todas ligadas por fios de luz a um caderno aberto cheio de gráficos.

Em meio minuto

Três pessoas, três perguntas diferentes. Cada uma constrói algo próprio, e a gente trabalha com ela numa pergunta, às claras.

Anagha Langhe quis saber se uma versão mais leve do modelo dela (FP8) responde pior. Em 120 perguntas, só uma passou de certa para errada.

Mark Goodbody testou se os frameworks de raciocínio dele mudam o que o ChatGPT e o Claude decidem. Nessas rodadas, as principais distinções apareceram com e sem eles, então ainda não há benefício estabelecido: os modelos já separam sozinhos "o que dá para dizer" de "o que devemos fazer".

Mohan Bheemadolu espreme a memória de um agente em códigos minúsculos, e juntos estamos testando se isso faz duas IAs concordarem mais vezes na mesma resposta errada.

Assistir no YouTube

As histórias

Três consultores recomendam a escola, todos com base no mesmo mapa de dois anos atrás. Um deles traz a inspeção de hoje dizendo que a entrada sem degraus da escola está fechada. As duas IAs contaram os três como uma única fonte, com ou sem o framework do Mark diante delas.

Os modelos de IA já separam uma afirmação de uma ação?

com Mark Goodbody · engenheiro de sistemas, Reino Unido · autor do Mechanical Ethics e do TRACE

Ler a história →

Como funciona uma colaboração

  1. Você traz uma pergunta, um sistema ou alguns dados: um modelo que você roda, uma memória para um agente, um conjunto de casos, um artigo que você quer pôr à prova.
  2. Antes de olhar qualquer resultado, combinamos o que rodar e o que vai contar como resposta.
  3. Cada lado roda a sua parte. Tudo o que pode ser aberto é aberto: código, prompts, respostas brutas, números.
  4. A história vai para uma página como estas, em palavras simples, com seu nome e seus links, e cresce conforme o trabalho avança.

Propor uma colaboração

Conte em poucas linhas no que você está trabalhando, o que gostaria de descobrir e onde ficam seu código ou seu artigo. Lemos tudo e respondemos pessoalmente.

polyhelper.ai@gmail.com