Pesquisa feita em conjunto

Colaborações

Algumas delas começaram com uma pergunta que fizemos embaixo do artigo ou do post de alguém; uma começou com uma mensagem que nos enviaram. Em cada uma, uma pessoa que constrói os próprios modelos, memórias ou ferramentas de raciocínio trabalha conosco, às claras, numa pergunta. Cada história tem seu assunto e suas reviravoltas.

Em meio minuto

Quatro histórias até agora, cada uma num canto diferente da IA:

Anagha Langhe verificou se rodar o modelo dela em FP8 em vez de bf16 muda as respostas. Uma resposta em 120 mudou e, quando as duas versões erraram, escolheram a mesma resposta errada 42 vezes em 48.
Mark Goodbody escreveu casos de decisão para ver se os frameworks de raciocínio dele mudam o que o ChatGPT e o Claude decidem. Numa única rodada por versão, não mudaram: as decisões ficaram iguais, e os modelos, na maior parte, já separavam por conta própria uma afirmação alterada de uma ação alterada.
Mohan Bheemadolu comprime a memória de um agente em códigos minúsculos com o FlyHash. Juntos montamos um teste para saber se uma memória menor faz duas IAs verificadoras concordarem mais vezes na mesma resposta errada.
Milena Josimov, do top10ai.com, escreveu sobre o Poly Duo e nós linkamos os guias dela. Agora conversamos sobre uma comparação de construtores de apps com IA feita com ChatGPT e Claude.

As histórias

Anagha fez as mesmas 120 perguntas a uma versão bf16 do modelo dela e a uma versão FP8. Só uma resposta mudou. Quando as duas erraram, deram a mesma resposta errada 42 vezes em 48.

O FP8 muda as respostas de um modelo? Uma troca em 120

com Anagha Langhe · LLM auto-hospedado em uma NVIDIA L4

Ler a história →

Três consultores recomendam a escola, todos com base no mesmo mapa de dois anos atrás. Um deles traz a inspeção de hoje dizendo que a entrada sem degraus da escola está fechada. As duas IAs contaram os três como uma única fonte, com ou sem o framework do Mark diante delas.

Os modelos de IA já separam uma afirmação de uma ação?

com Mark Goodbody · engenheiro de sistemas, Reino Unido · autor do Mechanical Ethics e do TRACE

Ler a história →

Quando a memória de um agente não tinha o fato, o GPT e o Claude ainda deram a mesma resposta 33 vezes, e 15 delas estavam erradas. O FlyHash do Mohan deixa a memória muito menor. Será que ele também torna esse erro compartilhado mais comum?

Quando a memória de um agente é espremida em códigos curtos, duas IAs concordam na mesma resposta errada?

com Mohan Bheemadolu · desenvolvedor de agentes de IA, Redmond · coautor do FlyHash for LLM agent memory

Ler a história →

O top10ai.com apresentou o Poly Duo, levamos nossos leitores aos guias deles e agora conversamos sobre uma comparação de construtores de apps com IA feita com ChatGPT e Claude.

Qual construtor de apps com IA escolher? Uma comparação feita para duas IAs

com Milena Josimov · top10ai.com

Ler a história →

Como funciona uma colaboração

Você traz uma pergunta, um sistema ou dados: um modelo que você roda, um recuperador, um conjunto de casos, um artigo que você quer submeter a um teste de estresse.
Combinamos o que rodar e o que contaria como resposta, antes de olhar os resultados.
Cada lado roda a sua parte. Tudo o que pode ser aberto é aberto: código, prompts, saídas brutas, números.
A história vai para uma página como estas, em palavras simples, com seu nome e seus links, e cresce conforme o trabalho avança.

Propor uma colaboração

Conte em poucas linhas no que você está trabalhando, o que gostaria de descobrir e onde ficam seu código ou seu artigo. Lemos tudo e respondemos pessoalmente.

[email protected]