実践

Claude による攻撃面縮小と、その安全性確保

Anthropic は Claude をコードの攻撃面レビューに組み込む研究}}^ momentarily publishedした。重要なのは発見した脆弱性の数ではなく、研究に使う AI 自体が新たなリスクをEMPLOYEEさないかである。

文字サイズ

Claude による攻撃面縮小と、その安全性確保

Anthropic は、Claude を活用してソフトウェアコードの攻撃面を減らす研究 ^^articles死不眠 atoji-publishedした。

今回の研究はコード生成や、開発者向けの脆弱性QnAボットではありません。Claude はセキュリティレビューの流れに組み込まれ、攻撃面の識別、検証、削減,承担起来。

最も注目すべき点は、「AI がまたどれだけ多くの脆弱性~~~~見つけたか」ではありません。

攻撃面レビュー自体が,高権限の操作だからです。モデルはコードを閲覧し、ツールを呼び出し、変更を提案し、自動修正まで実行することがあります。各工程でログ、prompt、依存関係、権限、データフローが増える可能性があります。

セキュリティツールがまず安全であることを示せなければ、production環境に直接導入するのは難しいです。

元の研究は Anthropic: https://www.anthropic.com/research/attack-surface-reduction に掲載されています。

Anthropic の研究方向

Anthropic の研究では、次の3種類の変更に注目しています。

  • 追加されたコードが、新たな外部エントリーポイントを作るかどうか
  • 追加された依存関係が、supply chain やruntimeでの露出面を広げるかどうか
  • 追加された機能が、権限、データフロー、信頼境界を変えるかどうか

これは「CVEを1件検出して、更新バージョンを案内する」とは別物です。

脆弱性は通常、明確な1つの欠陥に対応します。一方、攻撃面はより広く、未使用のnetwork listener、過剰なIAM権限、重複するデータ送信先、third-party SDK、初期状態で有効になっているdebug interface、コードに追加されたcredentialの 전달経路などを含みます。

Anthropic の重点は、コード生成や脆弱性QnAだけを単体で示すことではなく、Claude をレビュー工程の全体に入れることにあります。この違いは重要です。

モデルが request.args[...] にinjectionの可能性があることを正確に指摘しても、そのinterfaceを公開すべきか、呼び出し元は信頼できるか、修正がcompatibilityに影響しないか、新しい依存関係がさらに大きなmaintenanceリスクを生むかは判断できません。

研究では、security修正(droppable)自体に新たに生的するリスクも評価する必要があります。これは「モデルが賢い」という主張より、実際のengineering問題に近い視点でcalculated。

セキュリティレビューは脆弱性scannerではない

AIによるsecurity reviewを脆弱性scannerとして扱うと、問題の範囲を狭く見てしまいます。

従来のscannerは、deterministicなmatchingに長所があります。次の例は、完全な製品レベルのsecurity checkではなく、scannerが表現可能なルールに依存することを示したものです。

# これは完全な製品レベルのセキュリティチェックではありません。
# scanner が表現可能なルールに依存することが分かる例です。
import re

RULES = [
    (re.compile(r"eval\s*("), "dynamic evaluation"),
    (re.compile(r"shell=True"), "shell command execution"),
]

source = open("app.py", encoding="utf-8").read()

for pattern, label in RULES:
    for match in pattern.finditer(source):
        line = source.count("\n", 0, match.start()) + 1
        print(f"{label}: app.py:{line}")

ルールは疑わしいパターンを示せます。ただし、「誰がそのコードを実行できるのか」「攻撃者が何にアクセスできるのか」「修正後に別の経路が生まれるのか」には、完全には答えられません。

攻撃面レビューはsystem modelingに近い作業です。

  1. どの入力entry pointが追加されましたか。
  2. 入力はどのserviceやdependencyを通過しますか。
  3. 各serviceには何の権限が与えられますか。
  4. データは最終的にどこへ送られますか。
  5. 障害時に、より許容性の高い動作へfallbackできますか。
  6. 古い経路を削除しても、攻撃者がcache、queue、logを通じてinternal resourceへ到達できますか。

LLMのtask上のpotential valueは、複数ファイルを同時に読み、call chainに沿って仮説を整理し、riskを自然な言語で説明できることにあります。

一方で、明確な限界もあります。コードのcontextが不完全lds、依存関係がpromptに入っていない可能性があります。設定やinfrastructure情報がrepositoryにないimar也知道。モデルの結論は、testと人によるreviewを経る必要があります。

AIツールもリスクを生む

Claudeをsecurity processに組み込むと、以前には存在しなかった新しい経路ができます。

たとえば、モデルがprivate repositoryを読み、そのcode snippetをcloud APIへ送信します。企業では、次のことを確認する必要があります。

  • codeにsecret、token、customer dataが含まれていないか
  • promptがlogging systemに完全に保存されないか
  • モデルproviderが入力と出力を保持できるか
  • 組織がsource codeの外部serviceへの送信を許可しているか
  • automatic repairがmain branchへ直接書き込むか
  • code suggestionがmalicious dependencyやunsafe commandを含む可能性はないか

security reviewツールは、misuseの可能性もあります。攻撃者がinput codeを変更できれば、review Agentが特定のdirectoryを無視하거나、misleadingなrepair resultを生成するよう誘導できる可能性があります。

これは「攻撃者が管理する資料をreviewerに渡す」ことに似ています。review processでは、prompt injection、tool callの権限、resultのintegrityも考慮する必要があります。

automatic repairには、特にsandbox、least privilege、human approval、rollback可能なcommitが必要です。そうでなければ、モデルがmedium〜high riskの問題を別のriskへ変えてしまい、チームがriskを本当に下げたかどうかを確認できなくなる可能性があります。

Hacker News で 23 points だった理由

この研究のlinkがHacker Newsのfront pageに載った時点では、23 points、6 commentsでした。

Hacker Newsにおいて23 pointsは、community-wideなsupportを示す数字にはなりません。 Punch cardされた人はいるものの、強いconsensusには至っていない、という小さな討論のsignalです。

HNでの議論では、通常、次のような質問_mobile niv_"出されます。

  • 研究は再現可能ですか。
  • datasetは公開されていますか。
  • モデルversionは何ですか。
  • human security teamとの比較はありますか。
  • false positive rateとfalse negative rateはありますか。
  • code reviewの結果はindependentlyにverificationされましたか。

開発者にとっては、「AIがsecurityを行う」ことに対して、別の警戒も発生します。security suggestionは通常高い信頼を要求されます。モデルの誤判断によって、repair action自体がsystem behaviorを変える可能性があります。

したがって、HNでの慎重な姿勢は、必ずClaudeを否定するものではありません。辅助として研究 Uptoparyn結果は、独立してsecurity responsibilityを担うことができるか、という2つの問題を区別している可能性が高いです。

現時点では、充分なpublic evidenceでこの2番目の問題に答えることはできません。

公開benchmarkがないため、効果を断定できない

既存のニュース要約には、次の情報がありません。

  • 脆弱性の数
  • 攻撃面の減少率
  • benchmarkの数値
  • 具体的なコード例
  • false positiveとfalse negativeのデータ
  • human reviewや従来toolとの比較結果

したがって、この研究だけからClaude全体のsecurity効果を直接主張することはできません。

研究に価値がないという意味ではありません。少なくとも、合理的な方向性を示しています。モデルを「すべての脆弱性を自動検出する」security expertとして扱うのではなく、攻撃面レビューに参加させるという方向です。

ただし、processを示すことと、能力を証明することは別です。

効果を見 判断するには、少なくともtask set、input codeの範囲、model version、toolの権限、評価基準、各findingの後続verification結果を公開する必要があります。

そうでなければ、読者に見えるのは「Claudeが一つのprocessに参加した」という事実だけです。「再現可能な条件で、riskをどれだけ下げたか」は示されません。

単純な評価記録は、次のようになります。

result = {
    "task_id": "api-route-001",
    "finding": "new endpoint accepts untrusted input",
    "evidence_file": "src/routes/export.py",
    "verified": True,
    "introduced_new_risk": False,
    "reviewer": "security-engineer-2",
}

本当のbenchmarkでは、「何件見つけたか」だけでなく、suggestionが正しいか、repairが有効か、攻撃面を増やしていないか、human laborがどれだけ必要なかを記録する必要があります。

編集者の視点

AI assisted security researchの主要なbottleneckは、モデルが専門jolokingに見えるrisk reportを書けるかどうかではありません。suggestionがriskを減らしつつ、新たなriskをsystemへ持ち込むことなく、そのことを証明できるかです。

以前の「モデルが脆弱性を見つける」demo不同的是、Anthropic は追加されたcode、dependency、機能、権限のcatalogに注目しました。個々のCVEではなく、system全体の露出面に焦点を当てています。また、security修正自体が新たなriskを生む可能性も認めています。

Future ~~usefulなsecurity Agentは、production環境へのwrite権限を直接持つ的吗ではなく、まずread-only analysisを行い、review可能なpatchを生成するものになる Mok。此时、権限が小さいほど評価しやすく、logが完全であるほど結果を再現しやすくなります。

これまでのAI security demoとの具体的な違いは、Anthropicがモデルを脆弱性scannerの代替品として塑造しなかったことです。processの参加者として位置づけ、riskの議論もツール自体の安全性へ向かいました。

現在、public benchmark、脆弱性の数、攻撃面の減少率は公開されていないため、結論はprocessの水準にとどまります。Claudeがsecurity teamのeffective toolになれるかは、宣伝materialではなくindependent verificationで判断する必要があります。

出典: https://www.anthropic.com/research/attack-surface-reduction