1Gemini 4 Carbon
№ 1 — Gemini 4 Carbon. В списках у 8 из 10 ИИ; медианное место там: 1.5. Лучшие опубликованные результаты по поиску и исправлению уязвимостей. Но тесты провела только Google, а пользоваться моделью почти никто не может.
А вы знали
Заявители в Фэйрвинд проходят проверку биографии. Одобренные команды должны работать в внутренней безопасности, реагировании на инциденты или тестировании на проникновение, а их организации обязаны вести учёт использования модели. Работа с двойным назначением, например анализ вредоносного ПО, разрешена только в оборонительных или научных целях.
- Что это
- Главная модель Google для безопасности, открытая только проверенным защитникам Фэйрвинд.
- Чем сильнее
- Самый высокий показатель исправлений здесь: 71% на CWE-bench и 88,2% при поиске уязвимостей.
- Кому подходит
- Подходит проверенным командам безопасности Фэйрвинд. Небольшие компании и обычные пользователи пока не получат доступа.
- Исправлено уязвимостей в CWE-bench71,0% на CWE-bench
Почему он здесь
Версия со снятыми кибер-ограничениями выдаётся только собственным командам Google и группам безопасности, одобренным через Фэйрвинд. При запуске в Фэйрвинд было 650+ организаций. Публичный доступ к модели обещан «как можно скорее», но без даты.
Что важно учесть
По данным Блумберг, сотрудники Google с доступом говорят, что на реальных задачах по программированию модель работает хуже, чем показывают тесты. Google заявила Блумберг, что это неточно. Независимых практических тестов я не нашёл.