1Gemini 4 Carbon
N.º 1 — Gemini 4 Carbon. En las listas de 8 de 10 IA; puesto mediano allí: 1.5. Tiene las mejores cifras publicadas para encontrar y corregir fallos, aunque solo Google hizo las pruebas y casi nadie puede usarlo.
¿Sabía que…?
Los solicitantes de Fairwind pasan una verificación de antecedentes. Los equipos aprobados deben ser personal interno de seguridad, de respuesta a incidentes o de pruebas de penetración, y sus organizaciones deben registrar cómo se usa el modelo. El trabajo de doble uso, como el análisis de malware, solo se permite con fines defensivos o académicos.
- Qué es
- El principal modelo de seguridad de Google, abierto solo a defensores verificados de Fairwind.
- Su ventaja
- La tasa de corrección más alta de esta lista: 71% en CWE-bench y 88,2% al encontrar fallos.
- Para quién
- Sirve a equipos de seguridad verificados de Fairwind; las pequeñas empresas y el público todavía no pueden acceder a él.
- fallos de CWE-bench corregidos71,0% en CWE-bench
Por qué está aquí
La versión con los límites de ciberseguridad quitados solo llega a los equipos propios de Google y a grupos de seguridad aprobados por Fairwind. Fairwind tenía más de 650 organizaciones al lanzarse, y el público recibirá el modelo «lo antes posible», sin fecha anunciada.
A tener en cuenta
Bloomberg informó de que empleados de Google con acceso dicen que el modelo rinde peor en tareas reales de programación de lo que sugieren las pruebas. Google le dijo a Bloomberg que eso es inexacto. No encontré pruebas prácticas independientes.