1Gemini 4 Carbon
№ 1 — Gemini 4 Carbon. У списках 8 з 10 ШІ; медіанне місце там: 1.5. Це найкращі опубліковані результати з пошуку й виправлення вразливостей, але тести проводила лише Google, а скористатися моделлю майже ніхто не може.
А ви знали
Заявників до Фейрвінд перевіряють на благонадійність. Схвалені команди мають бути внутрішніми фахівцями з безпеки, реагування на інциденти або тестування на проникнення, а їхні організації мають відстежувати, як використовується модель. Робота подвійного призначення, наприклад аналіз шкідливого коду, дозволена лише для оборонних або наукових цілей.
- Що це
- Найсильніша модель Google для безпеки, доступна лише перевіреним захисникам з Фейрвінд.
- Чим сильніший
- Найвищий тут показник виправлень: 71% на CWE-bench і 88,2% у пошуку вразливостей.
- Кому підходить
- Підходить перевіреним командам безпеки з Фейрвінд; дрібні фірми та загал поки не мають доступу.
- Виправлені вразливості за CWE-bench71,0% на CWE-bench
Чому він тут
Версія зі знятими кіберобмеженнями передається лише командам Google і групам безпеки, допущеним через Фейрвінд. На старті Фейрвінд мав понад 650 організацій, а загальнодоступна модель з'явиться «якнайшвидше», без вказаної дати.
Що варто врахувати
Блумберг повідомив, що співробітники Google, які мають доступ, кажуть: на реальних завданнях з програмування модель працює гірше, ніж показують тести. У Google сказали Блумберг, що це неправда. Незалежних практичних перевірок я не знайшов.