Poly

Исследования вместе

Коллаборации

Одни из этих работ начались с вопроса, который мы задали под чьей-то статьёй или постом, одна началась с письма, которое прислали нам. В каждой человек, который сам строит модели, память или инструменты рассуждения, вместе с нами, в открытую, работает над вопросом. У каждой истории своя тема и свои неожиданные повороты.

За полминуты

Пока четыре истории, и каждая из своего уголка ИИ:

  • Anagha Langhe проверила, меняет ли её модель ответы, если запускать её в FP8 вместо bf16. Один ответ из 120 перевернулся, а когда ошибались обе сборки, неверный ответ у них совпал 42 раза из 48.
  • Mark Goodbody написал разборы решений, чтобы выяснить, влияют ли его рамки рассуждения на то, что решают ChatGPT и Claude. В одном прогоне на версию не повлияли: решения остались прежними, а изменённое утверждение от изменённого действия модели в основном отличали сами.
  • Mohan Bheemadolu упаковывает память агента в крошечные коды с помощью FlyHash. Вместе мы поставили проверку: чаще ли два проверяющих ИИ сойдутся на одном и том же неверном ответе, если память стала меньше.
  • Milena Josimov из top10ai.com написала о Poly Duo, а мы ссылаемся на её гайды. Теперь обсуждаем сравнение конструкторов ИИ-приложений через ChatGPT и Claude.

Истории

Anagha задала одни и те же 120 вопросов bf16-сборке своей модели и FP8-сборке. Перевернулся только один ответ. Когда ошибались обе, неверный ответ у них был один и тот же 42 раза из 48.

Меняет ли FP8 ответы модели? Один сдвиг на 120

вместе с Anagha Langhe · собственная LLM на одной NVIDIA L4

Читать историю →

Три советника рекомендуют школу, все по одной и той же двухлетней карте. У одного на руках сегодняшняя проверка: единственный вход в школу без ступенек закрыт. Оба ИИ посчитали этих троих одним источником, с рамкой Mark перед глазами и без неё.

Умеют ли ИИ-модели уже отделять утверждение от действия?

вместе с Mark Goodbody · системный инженер, Великобритания · автор Mechanical Ethics и TRACE

Читать историю →

Когда в памяти агента не было нужного факта, GPT и Claude всё равно дали одинаковый ответ 33 раза, и 15 из них были неверными. FlyHash Mohan сильно уменьшает память. Делает ли он эту общую ошибку чаще?

Если память агента сжать в короткие коды, сойдутся ли два ИИ на одном неверном ответе?

вместе с Mohan Bheemadolu · разработчик ИИ-агентов, Редмонд · соавтор FlyHash for LLM agent memory

Читать историю →

Как устроена совместная работа

  1. Вы приносите вопрос, систему или данные: модель, которую вы запускаете, поисковик по памяти, набор примеров, статью, которую хочется проверить на прочность.
  2. Мы договариваемся, что запускать и что считать ответом, до того, как увидим результаты.
  3. Каждая сторона запускает свою часть. Всё, что можно открыть, открыто: код, промпты, сырые ответы, цифры.
  4. История выходит на странице вроде этих, простыми словами, с вашим именем и ссылками, и растёт вместе с работой.

Предложить коллаборацию

Расскажите в нескольких строках, над чем вы работаете, что хотели бы выяснить и где лежит ваш код или статья. Мы читаем всё и отвечаем лично.

[email protected]