1Gemini 4 Carbon
第 1 名 — Gemini 4 Carbon. 10 个 AI 中有 8 个将其列入榜单;在其中的中位名次:1.5. 它公布的漏洞发现和修复成绩最好,但只有谷歌自己跑过测试,几乎没有人能用。
你知道吗
申请加入费尔温德计划的人需要通过背景审查。获批团队必须是机构内部的安全、事件响应或渗透测试人员,所在机构还须跟踪该模型的使用情况。恶意软件分析等双重用途工作,仅限用于防御或学术目的。
- 它是什么
- 谷歌最顶尖的安全模型,只对经审核的费尔温德防御者开放。
- 它的优势
- 这里修复率最高:CWE-bench 上 71%,发现漏洞的成绩为 88.2%。
- 适合谁
- 适合经审核的费尔温德安全团队;小公司和普通人暂时拿不到。
- CWE-bench 漏洞修复率CWE-bench 上 71.0%
为什么上榜
去除网络安全限制的版本只提供给谷歌自己的团队,以及通过费尔温德计划审核的安全团队。费尔温德计划启动时已有 650 多家机构。公众将“尽快”用上该模型,但没有给出日期。
需要注意
彭博社报道称,能接触该模型的谷歌员工表示,它在真实编程任务中的表现比基准测试显示的要差。谷歌对彭博社表示,这一说法不准确。我未找到独立的实际测试。