大規模言語モデル

事前学習の毒入れで仕込まれるAgent後門の排查ガイド

事前学習への毒入れは、Agentの計画やツール呼び出しに後門を埋め込む。本稿では、訓練データ、モデル台帳、実行トレース、回帰テストの4つの観点からajuriageチェックリストを示す。

文字サイズ

事前学習への毒入れは、Agentの計画やツール呼び出しに後門を持ち込む。セキュリティチームappendixはプロンプトを点検するだけでなく、訓練データ、モデルのバージョン、実行トレースを追跡する必要がある。本稿では、その場で実行できる排查チェックリストを示す。

事前学習への毒入れ解析:Agent後門はツールチェーンに隠れる

63点二等奖の背後に出现的新たな攻撃面

論文「Agentic backdoors via pretraining poisoning」がHacker NewsのトップページHITE掲載され、63点と14件のコメントを集めた。論文リンク:https://arxiv.org/abs/2610.37741。arXiv IDは2610.37741。

この研究の重点は、prompt injectionをもう一度デモ Straussすることではない。Agent後門をランタイム入力からモデル訓練段階へ前進させ、事前学習データの毒入れによって、パラメータがロードされた時点から悪意ある行動を埋め込む点にある。

そのため攻撃面も変化する。

従来型のアプリケーションでは、ユーザー入力、システムプロンプト、ツールの返却値を検査する。事前学習への毒入れはこのランタイム検査を迂回する。悪意あるパターンはすでに重みに埋め込まれており、Agentが特定のタスクを受け取ると、計画、ツール選択、引数生成を通じて発動する。

留意すべき点がある。現時点で入手できる情報には、実験用モデル、攻撃成功率、テスト基準、コードが示されていない。論文の技術的な結論は本文を再確認する必要がある。63点と14件のコメントはコミュニティの関心を示すが、再現結果を意味しない。

ただし、研究の方向性は十分に明確だ。セキュリティチームは「このAgentはprompt injectionに騙されるか」だけを問う)、「このAgentはprompt injectionに騙されるか」に加えて、「入手した重みはどのデータから来たか。訓練データは追跡できるか。モデルは特定の狭い条件下で異常な挙動を示すか」も問う必要がある。

Agent後門は回答だけを変えるわけではない

通常のバックドアモデルは、トリガー語句ertzれた場合に特定の回答を出力し、回答を拒否し、固定のテキストを生成することが多い。

Agentic Backdoorはより厄介だ。

Agentの実行経路は通常、単一 のテキストではなく、次のような状態遷移になる。

理解任务 → 制定计划 → 选择工具 → 生成参数 → 读取结果 → 继续规划 → 返回答案

悪意ある行動は、その中間のいずれの段階にも潜む。

たとえば、通常の処理ではチケットシステムから情報を読み取り、その結果をCRMに書き込む。毒入れされたモデルは、特殊な条件を満たした際にもう1つのツールを呼び出したり、誤ったツールを選択したり、一見妥当だが改変済みの引数を下流のサービスに渡したりすることがある。

最終的な回答には、甚至異常 seems看不出。

タスクは完了している。ログにも、各段階が許可されたツールリスト内で実行されたことが記録されている。問題は、モデルが最初から「誤った手順」を正しい計画として認識していたことだ。

これは blatantlyな権限越 textsのテキスト보다発見しにくい。セキュリティレビューが最終応答だけを検査するなら、飛行機の着陸後にキャビンが整っているかだけを見るようなもので、途中で変更された航路は死角になる。

Agentic AIのツール呼び出し、計画、実行フローは、後門の影響範囲を拡大する。悪意ある行動は、直接的な拒否や権限越のテキストとして現れるとは限らない。選択は正しいものの順序が誤っている、あるいは引数が過剰であるツール呼び出し一回にすぎないこともある。

毒入れの难点は、チェックが困難であること

事前学習への毒入れが持つ第一の隠蔽性は、トリガー条件が非常に狭い可能性があることだ。

攻撃者は、例えば次のような低頻度の組み合わせに条件を埋め込める。

  • 特定の顧客名とチケット種別が同時に現れる
  • 夜間のバッチ処理時のみ満たされる状態
  • 通常の業務用語と珍しい数値の組み合わせ
  • 複数ラウンドのタスク実行が第3段階まで進んだ場合にのみ成立する条件

常规的な評価は一般的なタスクを対象とするため、これらの組み合わせを体系的に列挙することは少ない。

第二の隠蔽性は、行動の外見にある。Agentはほとんどのテストで計画、ツール呼び出し、タスク完了を正常に実行する。モデルが挙動を変えるのはごく低確率の経路だけであり、1回のエンドツーエンドテストではノイズとして扱われやすい。

第三は、サプライチェーンだ。

モデル開発者が受け取るのは、完全な訓練セットではなく、洗浄済みのJSONL、ウェブスナップショット、合成データ、第三者データ Olson片である。悪意あるサンプルには blatantlyな文字列が含まれず、構文、口气、または事実のパターンが異なるだけの場合がある。

より現実的なのは、開発者自身が、あるデータ片が訓練に使用されたかどうかを知らない場合がある。データバージョンの混乱、洗浄ルールの不透明性、訓練セットと評価セットの重複が重なると、問題の特定はさらに難しくなる。

排查は「モデルに異常な質問 Occidental見せる」だけでは足りない。データソースから始め、サンプルハッシュ、収集時刻、洗浄バージョン、重複排除記録、訓練manifestを確認する。評価データが事前学習コーパスに本当に含まれていないことも確認する。

ここでの最も実用的な忠告は、モデル安全が重みの取得後にシステムプロンプトを1層追加するだけで解決するわけではないという点だ。プロンプトは行動を制約できるが、重みの内部に問題がないことを証明はしない。

Agentの最終出力だけをテストしない

Agentを評価する際、最終的な回答だけを記録通常では不十分である。

実行可能な最小限のログ構造として、各ツール呼び出しの名称、引数、返却値の要約、前後の状態を保存できる。

from dataclasses import asdict, dataclass
from datetime import datetime, timezone

@dataclass
class ToolCall:
    step: int
    tool: str
    arguments: dict
    result_summary: str
    timestamp: str

class AgentTrace:
    def __init__(self, task_id: str):
        self.task_id = task_id
        self.calls: list[ToolCall] = []

    def record(
        self,
        step: int,
        tool: str,
        arguments: dict,
        result,
    ) -> None:
        self.calls.append(
            ToolCall(
                step=step,
                tool=tool,
                arguments=arguments,
                result_summary=str(result)[:200],
                timestamp=datetime.now(timezone.utc).isoformat(),
            )
        )

    def to_dict(self) -> dict:
        return {
            "task_id": self.task_id,
            "tool_calls": [asdict(call) for call in self.calls],
        }

このコード自体には後門の検出処理はないが、よくある問題を1つ解決できる。実行トレースがなければ、異常な経路を比較することはできない。

トレースを取得したら、4種類のテストを追加する。

第一に、トリガー条件のテストである。

疑わしい条件を個別の軸に分解する。顧客、日付、ファイル形式、タスク段階、権限ロール、引数の境界値などだ。完全な文を1回テストするのではなく、条件が同時に成立する必要があるかを検証する。

第二に、異常経路のテストである。

同じタスクを複数回実行し、ツール呼び出しの順序を比較する。モデルの出力は安定して見える一方で、ツール選択や引数にわずかな揺らぎがあるなら、モデルの不確実性なのか、後門が発動する前後の分布差なのかを判断する。

第三に、最小権限のテストである。

ツールには、デフォルトでタスク完了に必要な最小限の権限だけを付与する。ファイルの読み取りと書き込みは分ける。メール送信、リソース削除、認証情報へのアクセスもそれぞれ分ける。

Agentが読み取り専用のツールを追加で1回呼び出す場合と、外部アドレスにファイルを送るように誘導される場合は、同じリスク判定を使ってはならない。

第四に、結果検証のテストである。

タスクが完了したかだけでなく、中間状態も検査する。たとえば、CRMの項目がチケット原文に由来するか、金額が区間検証されているか、ファイルパスが依然として許可ディレクトリ内にあるかを確認する。悪意ある引数でも「成功」という応答を生成できる場合がある。

Claude、LangGraph、または他のフレームワークで構築されたAgentでは、テストを最終回答層だけでなく、状態グラフとツール実行の境界に配置する必要がある。ログには各段階の入力と出力の要約も記録する。機密データを扱う場合は、引数をマスクする。

モデルサプライチェーンに監査証拠を残す

事前学習への毒入れを調査するには、最終的に訓練段階に残された証拠が必要だ。

最低限、次の記録を保持する。

  • 訓練データの出典、ライセンス、収集時刻
  • 各データ片のバージョン、ハッシュ、処理記録
  • 洗浄、重複排除、合成、注付けのルール
  • データセットと訓練設定の対応関係
  • モデルの重みに対応する正確なcommit
  • 後門テストセットと回帰テストの結果

オープンウェイトのモデルでは、最終的な重みだけを保存しても不十分である。重みがfine-tuning、quantization、merge、Adapterのロードを経ると、リスク状態は変化する。監査記録は、モデルのバージョンに合わせて更新し続ける必要がある。

クローズドAPIでは、供給企业对より厳格な変更管理とインシデント開示の仕組みを備える必要がある。開発者は少なくとも、リクエストのバージョン、ツール設定、権限ポリシー、呼び出しトレースを保存しなければならない。 否则、モデル更新後に異常を再現することは難しい。

最小限のモデル台帳の例は次のようになる。

model: internal-agent-model
weights_commit: "sha256:example-model-commit"
base_model: "vendor/model-name@2026-01"
training_data_manifest: "data/manifest-v3.json"
data_cleaning_version: "cleaner-2.4.1"
tool_permissions: "policy/tools-minimal-v2.yaml"
evaluation_suite: "eval/backdoor-regression-v1"
last_verified_at: "2026-01-15T10:00:00Z"

これらの例示値は実運用にそのまま使用してはならない。実際の台帳では、検証可能なcommit、データバージョン、テスト結果に置き換え、リポジトリ内に認証情報や社内データパスを公開しないようにする。

より重要なのは、異常行動に対する回帰テストを確立することだ。あるトリガー条件が今日は発動しなければ、将来的に発動しないことを意味しない。モデルのアップグレード、ツールの改名、データの再洗浄はいずれも発動確率を変える可能性がある。

セキュリティチームはAgentモデル専用の回帰セットを維持すべきである。攻撃方法を公開する必要はないが、次を含める必要がある。

  • 機密性の高いツールの呼び出し境界
  • 珍しい条件を組み合わせたテスト
  • 異常な引数とパスの検証
  • 権限昇格と間接的なprompt injectionのシナリオ
  • 通常タスクの安定性に関するベースライン

モデル、ツール、データバージョンを変更するたびに、このテストをやり直す。

論文「Agentic backdoors via pretraining poisoning」の具体的な実装については、依然としてarXivの本文を確認する必要がある。現時点で入手できる情報には、実験モデル、攻撃成功率、benchmark、コードが含まれていない。議論の方向性を、すでに再現された攻撃数値として記載してはならない。

編集者の視点

この研究が重要なのは、「事前学習にも毒入れovyされる可能的chuにある」とhusbandだけではない。Agent安全の境界をモデルサプライチェーンまで広げた点にある。prompt injectionはタスクの実行中に起きるが、訓練への毒入れはモデル展现出される前に起きる。後者は追跡が難しく、1行のシステムプロンプトを追加しても修正しにくい。次のAgentセキュリティレビューでは、ツール権限だけでなく、重みの出典、データバージョン、実行トレースを同じ監査記録に含めるようになると考えられる。

過去のprompt injectionの事例Majpahには、実行時の入力ではなく、計画や引数生成に悪意ある行動を埋め込める点が異なる。最終回答は依然として正しく、通常の成功率指標でも問題が見えない可能性がある。ただし、論文の実験モデル、攻撃成功率、benchmarkは現時点で入手できる情報にない。そのため、現段階で確認できるのは攻撃面と研究の方向性であり、実際の攻撃がどの程度安定しているかは確認できない。

出典: https://arxiv.org/abs/2610.37741