Como escolher uma ferramenta de IA para seu próprio trabalho — Notas de pesquisa
Esta é uma tradução. A versão de referência é o original em inglês; cite essa.
Qualquer pessoa escolhendo uma ferramenta de IA hoje enfrenta uma prateleira lotada e muito conselho confiante. Avaliações podem ajudar, mas nenhuma delas viu sua tarefa. Esta nota descreve um modo de escolher que se sustenta, e ele repousa em uma ideia do artigo de que ela vem: quando vários AIs concordam, isso não é a mesma coisa que várias testemunhas independentes.
Comece com análises, depois teste em sua própria tarefa
Artigos comparativos são um primeiro passo razoável. Eles mostram quais ferramentas existem, pelo que cada uma é conhecida e onde as pessoas discordam. Por exemplo, top10ai.com escreveu sobre Poly Duo em sua comparação Claude vs ChatGPT, e o mesmo site mantém uma lista de ferramentas para pessoas que desejam construir software sem escrever código: best AI app builder. Listas como estas dizem o que experimentar. Elas não conseguem dizer qual ferramenta se adequa àquilo que você realmente precisa fazer esta semana.
Então pegue uma tarefa real sua, pequena o suficiente para você julgar por si mesmo, e dê a mesma solicitação a duas ou três ferramentas. Um rascunho de email, uma fórmula de planilha, um plano breve, uma primeira versão de um aplicativo pequeno. Depois leia os resultados lado a lado. Você verá diferenças de tom, no que cada ferramenta assumiu e no que deixou de fora, e essas são as diferenças que importam para seu trabalho.
Uma resposta confiante não é uma resposta correta
O artigo apresenta um ponto que se aplica a toda ferramenta disponível. Alguém que faz uma pergunta a um modelo de linguagem não consegue distinguir uma resposta confiante e errada de uma resposta confiante e correta, porque na superfície as duas parecem iguais. Consultar vários modelos parece resolver isso, mas principalmente desloca o problema: se todos dizem a mesma coisa, você agora possui um texto confiante que carrega a autoridade emprestada de "vários deles concordaram."
A razão é que os modelos compartilham dados de treinamento e hábitos, portanto seus erros são correlacionados. O artigo cita uma medição de um painel de nove juízes de ponta de sete famílias de modelos que equivalia a cerca de dois votos independentes (Kohli, 2026), e uma descoberta de que o melhor juiz único igualou ou superou todo o painel. Adicionar mais modelos do mesmo tipo não lhe compra muita certeza adicional. Veja a seção do artigo sobre quantas testemunhas independentes um conselho vale e sobre o limite.
Use a second opinion that can disagree
O que ajuda é uma segunda IA, idealmente de uma empresa diferente, que tem permissão para discordar. Dois hábitos são suficientes no uso diário:
- Peça à segunda ferramenta que verifique a primeira resposta e nomeie qualquer coisa que mudaria, em vez de pedir que confirme.
- Mantenha os desacordos. Se duas respostas diferem, esse local é onde observar atentamente, verificar uma fonte ou perguntar a uma pessoa.
O artigo separa duas formas de coletar a segunda opinião: uma cega, onde o segundo modelo não vê a primeira resposta, e uma informada, onde vê. A informada pode detectar um erro concreto, enquanto a cega mantém as duas respostas mais independentes. Cada uma negocia algo pela outra, e a discussão de elicitação cega e informada expõe essa negociação. O artigo também observa seus próprios limites: a afirmação de que uma resposta mesclada supera a melhor resposta única é argumentada a partir de design e trabalho relacionado, e a avaliação proposta ainda não foi executada.
Uma pequena lista de verificação
- Use avaliações para criar uma lista curta de duas ou três ferramentas.
- Execute a mesma tarefa real em cada uma e compare os resultados você mesmo.
- Escolha aquela que se adequa ao seu trabalho e depois peça a uma ferramenta de uma empresa diferente que verifique seu resultado em qualquer coisa que importa.
- Trate concordância como uma dica, não como prova, e verifique fatos que têm custo se estiverem errados.
Poly Duo, nosso app, é construído em torno do hábito de segunda opinião: duas IAs de empresas diferentes verificam o trabalho uma da outra em seu telefone, então a verificação cruzada leva um toque em vez de copiar e colar. Mas o método não depende de nenhum app específico. Você pode fazê-lo manualmente com quaisquer duas ferramentas, e o artigo descreve exatamente como.
Vadym Chernets também constrói Poly, um app no qual IAs de empresas diferentes verificam o trabalho uma da outra.