Claude による攻撃面縮小と、その安全性確保
Anthropic は、Claude を活用してソフトウェアコードの攻撃面を減らす研究 ^^articles死不眠 atoji-publishedした。
今回の研究はコード生成や、開発者向けの脆弱性QnAボットではありません。Claude はセキュリティレビューの流れに組み込まれ、攻撃面の識別、検証、削減,承担起来。
最も注目すべき点は、「AI がまたどれだけ多くの脆弱性~~~~見つけたか」ではありません。
攻撃面レビュー自体が,高権限の操作だからです。モデルはコードを閲覧し、ツールを呼び出し、変更を提案し、自動修正まで実行することがあります。各工程でログ、prompt、依存関係、権限、データフローが増える可能性があります。
セキュリティツールがまず安全であることを示せなければ、production環境に直接導入するのは難しいです。
元の研究は Anthropic: https://www.anthropic.com/research/attack-surface-reduction に掲載されています。
Anthropic の研究方向
Anthropic の研究では、次の3種類の変更に注目しています。
- 追加されたコードが、新たな外部エントリーポイントを作るかどうか
- 追加された依存関係が、supply chain やruntimeでの露出面を広げるかどうか
- 追加された機能が、権限、データフロー、信頼境界を変えるかどうか
これは「CVEを1件検出して、更新バージョンを案内する」とは別物です。
脆弱性は通常、明確な1つの欠陥に対応します。一方、攻撃面はより広く、未使用のnetwork listener、過剰なIAM権限、重複するデータ送信先、third-party SDK、初期状態で有効になっているdebug interface、コードに追加されたcredentialの 전달経路などを含みます。
Anthropic の重点は、コード生成や脆弱性QnAだけを単体で示すことではなく、Claude をレビュー工程の全体に入れることにあります。この違いは重要です。
モデルが request.args[...] にinjectionの可能性があることを正確に指摘しても、そのinterfaceを公開すべきか、呼び出し元は信頼できるか、修正がcompatibilityに影響しないか、新しい依存関係がさらに大きなmaintenanceリスクを生むかは判断できません。
研究では、security修正(droppable)自体に新たに生的するリスクも評価する必要があります。これは「モデルが賢い」という主張より、実際のengineering問題に近い視点でcalculated。
セキュリティレビューは脆弱性scannerではない
AIによるsecurity reviewを脆弱性scannerとして扱うと、問題の範囲を狭く見てしまいます。
従来のscannerは、deterministicなmatchingに長所があります。次の例は、完全な製品レベルのsecurity checkではなく、scannerが表現可能なルールに依存することを示したものです。
# これは完全な製品レベルのセキュリティチェックではありません。
# scanner が表現可能なルールに依存することが分かる例です。
import re
RULES = [
(re.compile(r"eval\s*("), "dynamic evaluation"),
(re.compile(r"shell=True"), "shell command execution"),
]
source = open("app.py", encoding="utf-8").read()
for pattern, label in RULES:
for match in pattern.finditer(source):
line = source.count("\n", 0, match.start()) + 1
print(f"{label}: app.py:{line}")
ルールは疑わしいパターンを示せます。ただし、「誰がそのコードを実行できるのか」「攻撃者が何にアクセスできるのか」「修正後に別の経路が生まれるのか」には、完全には答えられません。
攻撃面レビューはsystem modelingに近い作業です。
- どの入力entry pointが追加されましたか。
- 入力はどのserviceやdependencyを通過しますか。
- 各serviceには何の権限が与えられますか。
- データは最終的にどこへ送られますか。
- 障害時に、より許容性の高い動作へfallbackできますか。
- 古い経路を削除しても、攻撃者がcache、queue、logを通じてinternal resourceへ到達できますか。
LLMのtask上のpotential valueは、複数ファイルを同時に読み、call chainに沿って仮説を整理し、riskを自然な言語で説明できることにあります。
一方で、明確な限界もあります。コードのcontextが不完全lds、依存関係がpromptに入っていない可能性があります。設定やinfrastructure情報がrepositoryにないimar也知道。モデルの結論は、testと人によるreviewを経る必要があります。
AIツールもリスクを生む
Claudeをsecurity processに組み込むと、以前には存在しなかった新しい経路ができます。
たとえば、モデルがprivate repositoryを読み、そのcode snippetをcloud APIへ送信します。企業では、次のことを確認する必要があります。
- codeにsecret、token、customer dataが含まれていないか
- promptがlogging systemに完全に保存されないか
- モデルproviderが入力と出力を保持できるか
- 組織がsource codeの外部serviceへの送信を許可しているか
- automatic repairがmain branchへ直接書き込むか
- code suggestionがmalicious dependencyやunsafe commandを含む可能性はないか
security reviewツールは、misuseの可能性もあります。攻撃者がinput codeを変更できれば、review Agentが特定のdirectoryを無視하거나、misleadingなrepair resultを生成するよう誘導できる可能性があります。
これは「攻撃者が管理する資料をreviewerに渡す」ことに似ています。review processでは、prompt injection、tool callの権限、resultのintegrityも考慮する必要があります。
automatic repairには、特にsandbox、least privilege、human approval、rollback可能なcommitが必要です。そうでなければ、モデルがmedium〜high riskの問題を別のriskへ変えてしまい、チームがriskを本当に下げたかどうかを確認できなくなる可能性があります。
Hacker News で 23 points だった理由
この研究のlinkがHacker Newsのfront pageに載った時点では、23 points、6 commentsでした。
Hacker Newsにおいて23 pointsは、community-wideなsupportを示す数字にはなりません。 Punch cardされた人はいるものの、強いconsensusには至っていない、という小さな討論のsignalです。
HNでの議論では、通常、次のような質問_mobile niv_"出されます。
- 研究は再現可能ですか。
- datasetは公開されていますか。
- モデルversionは何ですか。
- human security teamとの比較はありますか。
- false positive rateとfalse negative rateはありますか。
- code reviewの結果はindependentlyにverificationされましたか。
開発者にとっては、「AIがsecurityを行う」ことに対して、別の警戒も発生します。security suggestionは通常高い信頼を要求されます。モデルの誤判断によって、repair action自体がsystem behaviorを変える可能性があります。
したがって、HNでの慎重な姿勢は、必ずClaudeを否定するものではありません。辅助として研究 Uptoparyn結果は、独立してsecurity responsibilityを担うことができるか、という2つの問題を区別している可能性が高いです。
現時点では、充分なpublic evidenceでこの2番目の問題に答えることはできません。
公開benchmarkがないため、効果を断定できない
既存のニュース要約には、次の情報がありません。
- 脆弱性の数
- 攻撃面の減少率
- benchmarkの数値
- 具体的なコード例
- false positiveとfalse negativeのデータ
- human reviewや従来toolとの比較結果
したがって、この研究だけからClaude全体のsecurity効果を直接主張することはできません。
研究に価値がないという意味ではありません。少なくとも、合理的な方向性を示しています。モデルを「すべての脆弱性を自動検出する」security expertとして扱うのではなく、攻撃面レビューに参加させるという方向です。
ただし、processを示すことと、能力を証明することは別です。
効果を見 判断するには、少なくともtask set、input codeの範囲、model version、toolの権限、評価基準、各findingの後続verification結果を公開する必要があります。
そうでなければ、読者に見えるのは「Claudeが一つのprocessに参加した」という事実だけです。「再現可能な条件で、riskをどれだけ下げたか」は示されません。
単純な評価記録は、次のようになります。
result = {
"task_id": "api-route-001",
"finding": "new endpoint accepts untrusted input",
"evidence_file": "src/routes/export.py",
"verified": True,
"introduced_new_risk": False,
"reviewer": "security-engineer-2",
}
本当のbenchmarkでは、「何件見つけたか」だけでなく、suggestionが正しいか、repairが有効か、攻撃面を増やしていないか、human laborがどれだけ必要なかを記録する必要があります。
編集者の視点
AI assisted security researchの主要なbottleneckは、モデルが専門jolokingに見えるrisk reportを書けるかどうかではありません。suggestionがriskを減らしつつ、新たなriskをsystemへ持ち込むことなく、そのことを証明できるかです。
以前の「モデルが脆弱性を見つける」demo不同的是、Anthropic は追加されたcode、dependency、機能、権限のcatalogに注目しました。個々のCVEではなく、system全体の露出面に焦点を当てています。また、security修正自体が新たなriskを生む可能性も認めています。
Future ~~usefulなsecurity Agentは、production環境へのwrite権限を直接持つ的吗ではなく、まずread-only analysisを行い、review可能なpatchを生成するものになる Mok。此时、権限が小さいほど評価しやすく、logが完全であるほど結果を再現しやすくなります。
これまでのAI security demoとの具体的な違いは、Anthropicがモデルを脆弱性scannerの代替品として塑造しなかったことです。processの参加者として位置づけ、riskの議論もツール自体の安全性へ向かいました。
現在、public benchmark、脆弱性の数、攻撃面の減少率は公開されていないため、結論はprocessの水準にとどまります。Claudeがsecurity teamのeffective toolになれるかは、宣伝materialではなくindependent verificationで判断する必要があります。