Дослідження разом

Колаборації

Одні з цих історій почалися з коментаря, який ми залишили під чиєюсь статтею чи дописом, інші — з повідомлення, яке нам написали. У кожної своя тема і свої повороти.

Ілюстрація: чотири верстаки в сонячній майстерні: відеокарта з двома датчиками, картки рішень поруч з островом у грозу, скляний короб зі світними точками й плодовою мушкою, ряд блоків-застосунків. Усі з’єднані світними нитками з одним розгорнутим зошитом із графіками.

За півхвилини

Троє людей, три різні питання. Кожен із них будує щось своє, а ми з ним разом, відкрито, працюємо над одним питанням.

Anagha Langhe перевірила, чи гірше відповідає легша версія її моделі (FP8). Зі 120 питань лише одне перейшло з правильного в хибне.

Mark Goodbody перевірив, чи змінюють його каркаси міркування те, що вирішують ChatGPT і Claude. У цих прогонах основні розрізнення проявилися і з ними, і без них, тож користь поки не встановлена: моделі й самі відрізняють «що ми можемо сказати» від «що нам слід робити».

Mohan Bheemadolu стискає пам'ять агента в крихітні коди, і разом ми перевіряємо, чи від цього два ШІ частіше погоджуються на тій самій хибній відповіді.

Дивитися на YouTube

Історії

Anagha поставила ті самі 120 питань bf16-збірці своєї моделі та збірці в FP8. Перевернулася лише одна відповідь. Коли помилялися обидві, вони давали однакову хибну відповідь 42 рази з 48.

Чи змінює FP8 відповіді моделі? Один переворот на 120

разом із Anagha Langhe · власна LLM на одній NVIDIA L4 · DocumentSyncAI

Читати історію →

Троє радників рекомендують школу, усі за однією двохрічною мапою. В одного є сьогоднішня інспекція: єдиний безбар'єрний вхід до школи закрито. Обидва ШІ зарахували цих трьох як одне джерело, з каркасом Марка перед очима чи без нього.

Чи вже вміють моделі ШІ відрізняти твердження від дії?

разом із Mark Goodbody · інженер систем, Велика Британія · автор Mechanical Ethics і TRACE

Читати історію →

Коли пам'ять агента не мала факту, GPT і Claude все одно дали однакову відповідь 33 рази, і 15 із них були хибними. FlyHash Mohan вмикає лише кілька активних бітів на кожен спогад. Чи робить більш стиснутий код цю спільну помилку частішою?

Коли пам'ять агента стиснуто в розріджені коди, чи погоджуються два ШІ на одній хибній відповіді?

разом із Mohan Bheemadolu · розробник ШІ-агентів · співавтор FlyHash for LLM agent memory

Читати історію →

Як відбувається співпраця

  1. Ви приносите питання, систему або якісь дані: модель, яку запускаєте, пам'ять для агента, набір кейсів, статтю, яку хочете випробувати.
  2. Перш ніж дивитися на результати, ми домовляємося, що запускати і що вважатиметься відповіддю.
  3. Кожна сторона робить свою частину. Усе, що може бути відкритим, відкрите: код, промпти, сирі відповіді, цифри.
  4. Історія з'являється на сторінці, як ці, простими словами, з вашим іменем і посиланнями, і росте разом з роботою.

Запропонувати колаборацію

Розкажіть кількома рядками, над чим ви працюєте, що хотіли б з'ясувати і де лежить ваш код чи стаття. Ми читаємо все й відповідаємо особисто.

polyhelper.ai@gmail.com