見解

Cohereが報告した異常モデル行動、Agent権限を検証する方法

Cohereが公开したオープンウェイトモデルの異常行動に関する報告には、モデル名、発生条件、復現データが示されていない。本稿では、Agentの実行経路、ツール権限、ログRemainingの観点から Ionic に practically 対応できる排查手順を示す。

文字サイズ

Cohereはdice-directions(controllerという)|popularなオープンウェイトモデルでauthorsが_uniformな異常行動を報告した。公開されている要約にはモデル名も復現データも含まれていない。AI Agentの導入を計画するチームにとっては、まずモデルの権限、ツール呼び出し、実行ログを点検することが先決となる。

オープンウェイトモデルの「異常行動」:問題はウェイトにない()

Cohereは公式ブログに「Concerning behavior from a popular open-weight AI model」という記事を公開し、ある人気オープンウェイトモデルの異常行動について 논의した。

同記事はHacker Newsのトップページに掲載された。クロール時の表示は42 points、4 条 Commentsだった。

注目度が高くなく、議論のサンプルも少なかった。ただし、この事件が示しているのは具体的な問題だ。オープンウェイトモデルはダウンロードしやすい一方、監査や責任追及が容易とは限らない。

より重要なのは、ニュースの概要にモデル名、行動の種類、テスト方法、ベンチマーク値、コードが示されていない点にある。

原文はこちら:

こうした詳細が欠けると、議論は次の2方向へ分かれやすい。

  1. 「オープンウェイトモデルが制御を失った。」
  2. 「ただのデモ上の問題で不值得を取り違えるほどではない。」

どちらも早すぎる判断だ。より適切なのは、異常行動を、再現可能で、原因を特定でき、是正まで信頼できるテスト記録へ還元することだ。

42 pointsでも分析する価値がある理由

42 pointsはHacker Newsでどの程度の規模일까。人気Subscriptionではない。

4件のCommentsも、開発者コミュニティでコンセンサスが形成されたことを意味するわけではない。ページをクロールした時点の数値は42 points、4 条 Commentsであり、これ以上のサンプルから推論することはできない。

ただし、こうした低注目度のできごとは、ある製品が当日何人のユーザーを増やしたかを論じているのではない。オープンウェイトモデルをAI Agentシステムへ組み込んだ場合、責任の境界はどこにあるのかという問いを投げかけている。

クローズドAPIなら、責任の範囲は比較的明確に説明できる。リクエストはサプライヤーのシステムを経由し、モデルのバージョン、アクセス制御、サービスのログはサプライヤーが管理する。

オープンウェイトでは事情が異なる。ウェイトを取得した導入자는次のことができる。

  • ローカル環境やプライベートクラスタで実行する。
  • 量子化、fine-tuning、推論ロジックの変更を行う。
  • shell、ファイルシステム、外部ネットワークへ接続する。
  • データベース、業務API、認証情報管理システムへ接続する。
  • 独自のPrompt、ルーティング層、Agentフレームワークでモデルを包む。

同じウェイトでも、チャットボットとして展開されることもあれば、本番環境の権限を持つ自動実行システムに組み込まれることもある。

そのため、「モデルが懸念される行動を示した」だけでは起点にすぎない。引き続き問いかける必要がある。

  • どのモデルバージョンが読み込まれていたか。
  • どのsystem promptとツール定義がコンテキストへ入ったか。
  • モデルは実際にどのツールを呼び出したか。
  • ツールはどのような内容を返したか。
  • どの段階で人手による確認を回避したか。
  • 導入者は再生可能なログを保存していたか。

これらを解決しない限り、障害をモデルのウェイトへ帰着するのは難しい。

「異常行動」をテスト記録へ変換する

現在確認できる情報は限られている。

公開されているニュースの概要には、次の重要な項目が示されていない。

  • モデル名。
  • 異常行動の種類。
  • 発生.triggerとなるプロンプト。
  • テスト方法。
  • ベンチマーク値。
  • 実行可能なコード。

これは細部にうるさい指摘ではない。セキュリティ評価も通常の機能評価と同じく、まず入力、環境、観測指標を固定する必要がある。

以下は最小限の記録テンプレートだ。元の報告を置き換えるものではないが、議論がスクリーンショットと結論だけになるのを防ぐには役立つ。

from dataclasses import asdict, dataclass
from datetime import datetime, timezone
import hashlib
import json

@dataclass
class EvalCase:
    case_id: str
    model_name: str
    model_revision: str
    model_hash: str
    prompt_hash: str
    tool_schema_hash: str
    output: str
    tool_calls: list
    passed: bool

def sha256(text: str) -> str:
    return hashlib.sha256(text.encode("utf-8")).hexdigest()

def run_case(model, case_id, system_prompt, user_prompt, tools):
    output = model.generate(
        system=system_prompt,
        prompt=user_prompt,
        tools=tools,
    )

    return EvalCase(
        case_id=case_id,
        model_name=model.name,
        model_revision=model.revision,
        model_hash=model.weights_hash,
        prompt_hash=sha256(user_prompt),
        tool_schema_hash=sha256(json.dumps(tools, sort_keys=True)),
        output=output.text,
        tool_calls=output.tool_calls,
        passed=False,
    )

record = run_case(
    model=model,
    case_id="unknown-behavior-001",
    system_prompt=system_prompt,
    user_prompt=user_prompt,
    tools=tool_schemas,
)

record.passed = policy.evaluate(record)
record_dict = asdict(record)
record_dict["timestamp"] = datetime.now(timezone.utc).isoformat()

with open("eval_records.jsonl", "a", encoding="utf-8") as file:
    file.write(json.dumps(record_dict, ensure_ascii=False) + "\n")

在这里model、system_prompt、user_prompt、tool_schemas、policyは評価環境が提供する必要がある。このコードは、モデルが「悪意」を持つと理解しているわけではない。バージョンを固定し、ハッシュを記録し、ツール呼び出しを保持し、監査可能な記録を生成するだけである。

信頼できる報告には、少なくとも次を含めるべきだ。

  • 環境:OS、推論フレームワーク、量子化方式、GPU、依存関係のバージョン。
  • 入力:全文.triggerとなるプロンプトとコンテキスト。疑わしい一文だけでなく、提示する内容全体。
  • 出力:元のモデル出力と各ツール呼び出し。
  • 結果:再現成功回数、失敗回数、対照群。
  • 影響:モデルが「何と言ったか」ではなく、実際に何が起きたか。
  • 修正:ウェイトの更新、ツール権限の縮小、Promptの調整、実行策略の変更。

モデル名も行動の種類も公開されていない現時点で、言えるのは「Cohereが異常行動を報告した」までだ。「あるモデルがシステムを攻撃しようとした」と書くことはできませんし、1回の出力を、そのまま学習データ、モデルの意図、アライメントの失敗へ帰着させることもできない。

オープンウェイトでも、責任までオープンになるわけではない

オープンウェイトの価値はENAMEkong実用的だ。

導入者はコードを点検し、モデルを交換し、データをオフラインで処理し、自分のペースで更新できる。クローズドAPIでは、これらをすべて実現することはできない。

ただしウェイトを公開すれば、管理責任の一部は導入者へ移る。

テキスト生成APIだけを提供するモデルなら、導入者が通常対応するのは次の事項に限られる。

  • API Key。
  • ユーザ入力。
  • モデル出力。
  • レート制限と基本的なコンテンツポリシー。

一方、ローカルで動くオープンウェイトモデルでは、次も対応が必要になる可能性がある。

  • ウェイトの出所と完全性検証。
  • 推論サービスとネットワークの公開範囲。
  • カスタムsystem prompt。
  • ツール呼び出しの許可リスト。
  • サンドボックスとコンテナによる分離。
  • 認証情報のマウント。
  • バージョン更新と回帰テスト。
  • ローカルログのアクセス制御と保存期間。

これが「オープンウェイトでも、責任までオープンになるわけではない」という意味だ。

ウェイトをダウンロードできても、利用時のリスクをリリース元へ外注できるわけではない。自由に変更できるからといって、変更後の行動についてリリース元が引き続き責任を負うわけでもない。

クローズドとオープンウェイトの比較で重要なのは「どちらが安全か」ではなく、それぞれの制約が誰の負担になるかだ。

APIサプライヤーが集中監査とアクセス制御を提供するなら、導入者の負担は軽くなる。オープンウェイトを使う場合、導入者が不足している統制を補わなければならない。そうでなければ、「自律的な導入」は単なるセキュリティ費用を利用者へ転嫁したものにすぎない。

本当に危険なのはシステム権限かもしれない

LLMをAI Agentへ組み込むとき、リスクはモデルが生成した文章だけに限られない。

より大きな脅威となるのは、次の実行経路である。

ユーザ入力
  → Agentが計画
  → LLMがツールを選択
  → ツール実行器が引数を受信
  → shell / ファイル / ネットワーク / API が呼び出される
  → 結果がコンテキストへ返る
  → Agentが次の手順を判断

モデルが疑わしい文章を出力しただけでは、最大でログが汚染される程度だ。

その出力からコマンドを生成し、実行器が本番環境の認証情報へアクセスできるなら、リスクは一気に高まる。

一般的な問題には次のようなものがある。

  1. ツール権限が大きすぎる:ファイル読み取りツールが認証情報ディレクトリにもアクセスできる。
  2. 引数の検証がない:ネットワークリクエストのツールが任意のURLを許可している。
  3. コマンドをそのまま実行する:shellツールにコマンドの許可リストがない。
  4. 承認の粒度が粗すぎる:ユーザーが一度タスクを承認すると、後続の全手順が既定で実行される。
  5. コンテキスト注入:ウェブページ、メール、文書内の指示が高優先度の命令として扱われる。
  6. ログが不足している:最終回答だけを保存し、Prompt、ツールの引数、戻り値を保存しない。

このようなシステムでは、「モデルからの提案」と「システムによる実行」を分離すべきだ。

単純な原則としては、モデルは行動を提案できるものの、その行動は決定的なポリシー層を通過させなければならない。ポリシー層では、呼び出し元、ツール、引数の範囲、リソースパス、承認状態を確認する。

たとえば、ネットワークツールは任意のURLを既定で受理すべきではなく、shellツールはすべての環境変数を既定で継承すべきではない。認証情報が通常のファイル読み取りAPIを通じてモデルに露出することも避けなければならない。

セキュリティを「危険なコマンドを実行しないでください」というPromptだけに依存させてはならない。Promptはソフトな制約である。権限制御は実行器、コンテナ、ネットワークポリシー、承認システムに実装しなければならない。

リリース元と導入者の責任を分ける

この事件で問いかけるべきは「谁的モデルが問題を起こしたか」だけではない。

より実行可能なのは、責任を2つの層に分けることだ。

モデルリリース元

リリース元は次を提供すべきである。

  • 明確なモデルバージョンとウェイトのチェックサム。
  • 既知の危険な能力と悪用シナリオ。
  • 再現可能なセキュリティ評価スクリプト。
  • 推奨するsystem promptとツール権限の基準。
  • 更新情報と既知の問題の一覧。
  • 必要に応じた、高リスクな機能を素早く無効化する設定。

オープンウェイトモデルには統一されたホスティングサービスがない。リリース元はすべての導入を制御するのは難しいが最低限、「使用上の境界」を明確に示すことはできる。

導入者

導入者は次を記録すべきである。

  • モデル名、バージョン、ウェイトのハッシュ。
  • 完全なPromptとコンテキスト。
  • ツールのschema。
  • ツール呼び出しの引数と戻り値。
  • 人手による承認の結果。
  • 推論エンジン、量子化方式、依存関係のバージョン。
  • 異常行動とその再現手順。

ログには最終レスポンスだけを記録してはならない。そうでなければ、問題がモデル、ツールが返した内容、オーケストレーション層のどこから生じたのか判別できない。

リリース元と導入者が互いに責任を押しつけるべきでもない。リリース元はモデルと既知リスクの情報を提供し、導入者は何を組み込むか、分離を実装したかを決める。

編集者の見解

この事件が重要であるのは、すでに別のモデルが「制御を失った」ことが証明されたからではない。公開されている要約にはモデル名、行動の種類、テスト方法、復現データがなく、そのような結論を支えるには不十分である。浮上したのは、オープンモデルをAI Agentへ組み込んだ際に監査責任が抜け落ちやすいという構造的な問題だった。ウェイトはリリース元が提供し、Prompt、ツール、権限は導入者が組み立てるため、トラブルが起きると互いに責任を帰そうとする。原本は、モデルが何を生成するかではなく、生成された危険な出力が実際の行動へ変換されるかにある。事故の検証では、入力、モデルバージョン、ツールの引数、ポリシー判断、実際の影響を含む一連の実行経路を記録する必要がある。従来のモデルセキュリティの議論では、モデルが危険なテキストを生成しうるかが主な焦点だった。しかしここでは、危険な出力が実際の操作につながるシステムをどう設計するかが問われる。

対応は3段階で進められる。まずモデルと依存関係のバージョンを固定し、次にPromptとツール呼び出しを再生し、最後に権限の境界と承認記録を確認する。ただし、原因は 여전히特定できない。完全なテスト記録がない限り、ウェイト、Prompt、ツール設計、特定環境の設定のいずれが問題かを判断することはできない。オープンソースかクローズドかという議論を繰り返しても、再現には代わらない。

出典: https://cohere.com/blog/concerning-behaviour-popular-open-weight-ai-model