1Gemini 4 Carbon
N° 1 — Gemini 4 Carbon. Dans les listes de 8 IA sur 10 ; place médiane : 1.5. C'est le meilleur score publié pour trouver et corriger des failles, même si seule Google a fait les tests et que presque personne ne peut l'utiliser.
Le saviez-vous ?
Les candidats à Fairwind font l'objet d'une vérification d'antécédents. Les équipes agréées doivent être du personnel interne de sécurité, de réponse aux incidents ou de tests d'intrusion, et leurs organisations doivent suivre l'usage qui est fait du modèle. Les travaux à double usage, comme l'analyse de logiciels malveillants, ne sont autorisés qu'à des fins défensives ou académiques.
- Ce que c'est
- Le modèle de sécurité phare de Google, ouvert uniquement aux défenseurs Fairwind agréés.
- Son atout
- Le taux de correction le plus élevé ici, 71% sur CWE-bench, et 88,2% pour trouver les failles.
- Pour qui
- Convient aux équipes de sécurité Fairwind agréées ; les petites entreprises et le public ne peuvent pas encore l'obtenir.
- Failles corrigées sur CWE-bench71,0% sur CWE-bench
Pourquoi il est là
La version débarrassée des limites cyber n'est accessible qu'aux équipes internes de Google et aux groupes de sécurité agréés par Fairwind. Fairwind comptait plus de 650 organisations au lancement, et le public aura le modèle « dès que possible », sans date annoncée.
À garder en tête
Bloomberg rapporte que des salariés de Google ayant accès au modèle disent qu'il fait moins bien sur de vraies tâches de programmation que ne le laissent entendre les tests. Google a répondu à Bloomberg que c'est inexact. Aucun test indépendant en conditions réelles n'a été trouvé.