1Gemini 4 Carbon
1位 — Gemini 4 Carbon. 10 の AI のうち 8 がリストに入れた/そこでの順位の中央値:1.5. 欠陥の発見と修正で、公表されている中で最も高い点数を持っています。ただし、テストを行ったのはグーグルだけで、利用できる人はほとんどいません。
知っていましたか
フェアウィンドへの申請者には身元審査があります。承認されるチームは、社内のセキュリティ、インシデント対応、または侵入テストの担当者である必要があり、所属組織はモデルの利用状況を管理しなければなりません。マルウェア分析のように攻撃にも防御にも使える作業は、防御または学術目的に限って認められます。
- どんなものか
- グーグルの最上位のセキュリティ向けモデルで、審査を通ったフェアウィンドの防御側の担当者だけに公開されています。
- 強み
- ここでは修正率が最も高く、CWE-benchで71%、欠陥の発見では88.2%です。
- 向いている人
- 審査を通ったフェアウィンドのセキュリティチーム向けです。小規模な企業や一般の人は、まだ利用できません。
- CWE-bench 欠陥修正CWE-benchで71.0%
ここにある理由
サイバー用途の制限を外した版は、グーグル自身のチームと、フェアウィンド経由で承認されたセキュリティ団体にのみ提供されます。開始時点でフェアウィンドには650以上の組織が参加していました。一般公開は「できるだけ早く」とされていますが、日付は示されていません。
気をつけたい点
ブルームバーグの報道によると、利用権限を持つグーグルの社員は、実際のコーディング作業ではベンチマークが示すほどの性能が出ないと話しています。グーグルはブルームバーグに対し、この指摘は不正確だと述べています。独立した実地テストは見つかりませんでした。