Исследования вместе

Коллаборации

Одни из этих историй начались с комментария, который мы оставили под чьей-то статьёй или постом, другие — с письма, которое прислали нам. У каждой своя тема и свои повороты.

Иллюстрация: четыре верстака в солнечной мастерской: видеокарта с двумя датчиками, карточки решений рядом с островом в грозу, стеклянный короб со светящимися точками и плодовой мушкой, ряд блоков-приложений. Все соединены светящимися нитями с одной раскрытой тетрадью с графиками.

За полминуты

Три человека, три разных вопроса. Каждый делает что-то своё, а мы вместе с ним, в открытую, разбираем один вопрос.

Anagha Langhe проверила, хуже ли отвечает облегчённая версия её модели (FP8). Из 120 вопросов только один превратился из верного в неверный.

Mark Goodbody проверял, меняют ли его рамки рассуждения решения ChatGPT и Claude. В этих прогонах основные разграничения проявились и с рамками, и без них, поэтому польза пока не установлена: модели и сами отделяют «что можно сказать» от «что стоит делать».

Mohan Bheemadolu сжимает память агента в крошечные коды, и мы вместе проверяем, не начнут ли от этого два ИИ чаще сходиться на одном и том же неверном ответе.

Смотреть на YouTube

Истории

Anagha задала одни и те же 120 вопросов bf16-сборке своей модели и FP8-сборке. Перевернулся только один ответ. Когда ошибались обе, неверный ответ у них был один и тот же 42 раза из 48.

Меняет ли FP8 ответы модели? Один сдвиг на 120

вместе с Anagha Langhe · собственная LLM на одной NVIDIA L4 · DocumentSyncAI

Читать историю →

Три советника рекомендуют школу, все по одной и той же двухлетней карте. У одного на руках сегодняшняя проверка: единственный вход в школу без ступенек закрыт. Оба ИИ посчитали этих троих одним источником, с рамкой Mark перед глазами и без неё.

Умеют ли ИИ-модели уже отделять утверждение от действия?

вместе с Mark Goodbody · системный инженер, Великобритания · автор Mechanical Ethics и TRACE

Читать историю →

Когда в памяти агента не было нужного факта, GPT и Claude всё равно дали одинаковый ответ 33 раза, и 15 из них были неверными. FlyHash Mohan включает лишь несколько активных битов на каждое воспоминание. Делает ли более сжатый код эту общую ошибку чаще?

Если память агента сжать в разреженные коды, сойдутся ли два ИИ на одном неверном ответе?

вместе с Mohan Bheemadolu · разработчик ИИ-агентов · соавтор FlyHash for LLM agent memory

Читать историю →

Как устроена совместная работа

  1. Вы приносите вопрос, систему или данные: модель, которую вы запускаете, память для агента, набор примеров, статью, которую хочется проверить на прочность.
  2. Ещё до первых результатов мы договариваемся, что запускать и что считать ответом.
  3. Каждая сторона запускает свою часть. Всё, что можно открыть, открыто: код, промпты, сырые ответы, цифры.
  4. История выходит на странице вроде этих, простыми словами, с вашим именем и ссылками, и растёт вместе с работой.

Предложить коллаборацию

Расскажите в нескольких строках, над чем вы работаете, что хотели бы выяснить и где лежит ваш код или статья. Мы читаем всё и отвечаем лично.

polyhelper.ai@gmail.com