Poly

Дослідження разом

Колаборації

Деякі з цих історій почалися з питання, яке ми залишили під чиєюсь статтею чи дописом, одна — з повідомлення, яке нам написали. У кожній людина, що будує власні моделі, пам'ять або інструменти міркування, відкрито працює з нами над питанням. У кожної історії своя тема і свої повороти.

За півхвилини

Поки що чотири історії, кожна з іншого куточка ШІ:

  • Anagha Langhe перевірила, чи змінює запуск її моделі у FP8 замість bf16 відповіді. Одна відповідь зі 120 перевернулася, а коли помилялися обидві збірки, неправильну відповідь вони обирали однакову 42 рази з 48.
  • Mark Goodbody написав кейси для рішень, щоб побачити, чи змінюють його каркаси міркування те, що вирішують ChatGPT і Claude. В одному прогоні на версію не змінили: рішення лишилися тими самими, а моделі здебільшого й самі відрізняли змінене твердження від зміненої дії.
  • Mohan Bheemadolu пакує пам'ять агента в крихітні коди за допомогою FlyHash. Разом ми налаштували перевірку: чи частіше два ШІ-перевіряльники погоджуються на одній і тій самій хибній відповіді, коли пам'ять менша.
  • Milena Josimov з top10ai.com написала про Poly Duo, а ми посилаємося на її гайди. Тепер обговорюємо порівняння конструкторів ШІ-застосунків через ChatGPT і Claude.

Історії

Anagha поставила ті самі 120 питань bf16-збірці своєї моделі та збірці в FP8. Перевернулася лише одна відповідь. Коли помилялися обидві, вони давали однакову хибну відповідь 42 рази з 48.

Чи змінює FP8 відповіді моделі? Один переворот на 120

разом із Anagha Langhe · власна LLM на одній NVIDIA L4

Читати історію →

Троє радників рекомендують школу, усі за однією двохрічною мапою. В одного є сьогоднішня інспекція: єдиний безбар'єрний вхід до школи закрито. Обидва ШІ зарахували цих трьох як одне джерело, з каркасом Марка перед очима чи без нього.

Чи вже вміють моделі ШІ відрізняти твердження від дії?

разом із Mark Goodbody · інженер систем, Велика Британія · автор Mechanical Ethics і TRACE

Читати історію →

Коли пам'ять агента не мала факту, GPT і Claude все одно дали однакову відповідь 33 рази, і 15 із них були хибними. FlyHash Mohan робить пам'ять набагато меншою. Чи робить він і цю спільну помилку частішою?

Коли пам'ять агента стиснуто в короткі коди, чи погоджуються два ШІ на одній хибній відповіді?

разом із Mohan Bheemadolu · розробник ШІ-агентів, Редмонд · співавтор FlyHash for LLM agent memory

Читати історію →

Як відбувається співпраця

  1. Ви приносите питання, систему або дані: модель, яку запускаєте, ретривер, набір кейсів, статтю, яку хочете перевірити на міцність.
  2. Ми домовляємося, що запускати і що вважатиметься відповіддю, ще до того, як побачимо результати.
  3. Кожна сторона робить свою частину. Усе, що може бути відкритим, відкрите: код, промпти, сирі виводи, цифри.
  4. Історія з'являється на сторінці, як ці, простими словами, з вашим іменем і посиланнями, і росте разом з роботою.

Запропонувати колаборацію

Розкажіть кількома рядками, над чим ви працюєте, що хотіли б з'ясувати і де лежить ваш код чи стаття. Ми читаємо все й відповідаємо особисто.

[email protected]