WhatsAppのヘルプページには、大規模言語モデル向けの隠し指示が埋め込まれていることが、研究者によって明らかになった。焦点が当てられているのは情報窃取ではなく、これらの指示によって客服Agentのコンプライアンス上の助言が変わるかどうかだ。Web、メール、RAGに接続するAI Agentの場合、外部コンテンツがそのまま業務の判断材料に入る可能性がある。
この問題はHacker Newsの首页にも掲載され、約505点と146件のコメントを集めた。調査内容はredact.devの分析記事、議論はHacker Newsのページで確認できる。
ヘルプページに何が隠されていたか
通常のヘルプページでは、問題の送信方法、注文の確認、返金手続き、プラットフォームサポートへの連絡方法などが案内される。
今回発見されたテキストは、それとは異なるものだった。人間には見えない、または視覚的に目立たない場合でも、LLMはページの内容、HTML構造、検索結果から読み取れる。
このようなテキストはモデルの挙動を変更しようとする。例えば、客服に利用者に対して監督機関への連絡就先延 terhadapする。また、申诉の経路を弱める寬容_fetch culturally? Keep natural Japanese.
重要なのは、攻撃者がモデルに奇妙な発言をさせられるかどうかではない。その回答がどの処理に入るかが問題になる。
利用者が「アカウントが停止されたが、客服 Besides誰に連絡できるか」と聞いた場合、モデルの回答は、利用者が苦情を申し立てるかどうか、外部の支援を求めるかどうか、プラットフォームが求められるコンプライアンス上の責任を負うかどうかに影響し得る。
つまり、これは単なるWebページの改ざんではない。悪意ある客服トークンを一言corrumpさせるものでもない。モデルがコンテキストを読み取る能力を利用して、プロダクトの出力方向そのものを変える手法である。
これは単なるプロンプトインジェクションではない
直接プロンプトインジェクションは利用者入力から来るため、少なくとも入力の境界でフィルタリング、フラグ付け、分離を行う余地がある。
間接プロンプトインジェクションは異なる。攻撃テキストは質問欄には現れず、次のような場所に隠れている可能性がある。
- Webページの本文やHTML
- メール本文
- PDFや添付ファイル
- 検索結果の要約
- 客服Agentのナレッジベース
- ブラウザやRAGを通じてAgentが取得した文書
モデルがこの内容を読み込む際、それがどの信頼レベルに属しているかを把握できるとは限らない。
簡略化した流れを示すと、次のようになる。
利用者の質問
↓
LLM客服Agent
↓
ヘルプページ、メール、検索結果を読む
↓
外部テキストをコンテキストに入れる
↓
コンプライアンス上の助言を生成、またはツールを呼び出すシステムが読み込んだテキストをすべて「参考資料」として扱うなら、攻撃者がモデル自体を突破する必要はない。外部コンテンツの一部が、信頼できる業務指示に見えるようにするだけでよい。
人間に見えないことは、モデルが読み取れないことを意味しない。CSSコメント、隠し要素、メタデータ、機械向けの専用コンテンツが、モデルのコンテキストに入る可能性がある。セキュリティ方針を画面に表示されている内容だけで判断してはならない。
Agentが特に影響を受けやすい理由
通常のチャットボットは通常、テキストを生成するだけだ。誘導された場合の最悪の結果は、不適切な発言ইওহোক possible?
客服Agentは、それに加えて次の処理を行う可能性がある。
- Webページやヘルプセンターにアクセスする。
- 注文、アカウント、チケットなどの社内データを照会する。
- 返金、チケットのクローズ、案件のエスカレーションを実行する。
- ポリシーに基づき、監督機関への連絡や苦情の提出を提案する。
- 会話結果をCRM、メール、チケットシステムに書き込む。
一度のコンテキスト汚染は、「誤った回答」から「誤った業務アクション」へ拡大する可能性がある。
例えば、Agentが悪意あるテキストを読み込んだ後、エスカレーション用チケットを一つ少なく作成するかもしれない。本来は人が承認すべき手順を、Agentがそのまま実行する可能性もある。誤ったコンプライアンス上の助言を含むメールを、外部に送信 Sion?
出力は通常の客服トークンに見え、丁寧な语气で、論理も整っている。確認する担当者が、主要な選択肢が一つ欠けていることにすぐ気づくとは限らない。
リスクは三つの層に分けられる。
コンテキスト汚染:外部テキストがモデルの判断に影響する
アクション拡大:モデルが高権限のツールを呼び出す
責任の移動:企業が制度上の問題を確率モデルに委ねる第一層はセキュリティ問題、第二層は権限問題、第三層はプロダクト設計の問題である。
システムプロンプトに「悪意ある指示は無視してください」と追記するだけでは、通常、第三層は解決しない。モデルが攻撃内容を理解していても、外部テキストが信頼できないことを証明できる仕組みを持たない場合が多い。
企業がこの連鎖を断つ方法
企業 Bataata Lebanon?
1. 外部コンテンツのデータとしての信頼度を下げる
Web、メール、検索結果は、デフォルトでシステム命令ではなく、信頼できないデータとして扱うべきである。
コンテキストに入れる前に、構造化して包装できる。
from dataclasses import dataclass
from typing import Any
@dataclass
class RetrievedDocument:
source: str
content: str
trust_level: str
def as_model_context(self) -> dict[str, Any]:
return {
"type": "untrusted_reference",
"source": self.source,
"content": self.content,
"instructions_allowed": False,
}これは完全な防御策ではないが、境界を明確にできる。Webページ内の「命令」と、企業内部のコンプライアンスポリシーを同じ階層に置いてはいけない。
RAGでも、出典、時刻、バージョンを保持する必要がある。企業ポリシーと外部ヘルプページの重みを、同一視してはならない。
2. ツール権限を制限する
客服Agentが、すべての業務アクションを直接完了できる権限を最初から持つべきではない。
少なくとも、次のように区別できる。
- 低リスクのアクション:注文照会、ヘルプ文書の検索、返信案の生成。
- 高リスクのアクション:返金、アカウント停止、アカウント削除、監督機関への正式書類の送信。
高リスクのアクションには、少なくとも次のような承認が必要である。
requires_human_approval = action in {
"refund",
"account_suspension",
"regulatory_escalation",
"external_complaint_submission",
}モデルはアクションを提案できるが、処理全体を自分で完了させることはできない。監督、申诉、資金に関わるアクションでは、まずルールエンジンで検証し、その後に実行を許可するかどうかを判断する必要がある。
3. 助言経路をルールで検証する
コンプライアンス上の助言を、モデルに自由に生成させるべきではない。
利用者が監督機関、消費者保護機関、法的救済を明示的に尋ねた場合、システムは承認済みの入口を返すか、明確に人手に切り替えないといけない。
単純なチェックロジックは次のようになる。
def needs_human_review(user_question: str, answer: str) -> bool:
regulatory_terms = (
"监管机构",
"消费者保护",
"formal complaint",
"regulator",
)
return any(term in user_question for term in regulatory_terms) and (
"人工" not in answer and "联系" not in answer
)実際のプロダクトでは,正式なポリシーのバージョン、レビューキュー、地域ごとの差異も接続する必要がある。方針は明確である。削除してはならないコンプライアンス上の経路を、確率モデルの判断に委ねるべきではない。
4. 追跡可能なログを残す
すべての回答について、次を記録する。
- 利用者の質問
- 使用した文書
- 文書のURL、バージョン、時刻
- 外部の信頼できないコンテンツとしてフラグ付けされたテキスト
- 呼び出したツール
- アクションを阻止または許可したルール
- 最終的に誰がレビューまたは承認したか
問題が発生した場合、チームはモデルの誤読、検索結果が誤ったページを取得したのか、権限設定に問題があるのかを区別できる必要がある。
さらに、異常検出も導入できる。例えば、客服回答が繰り返し监督機関への申诉経路を避ける場合、または同じ利用者グループにまったく同じコンプライアンス上の助言が送られている場合、システムは自動的に警告を発する。
編集者の視点
この事件的重要的是、「モデルがまた騙された」というだけではない。より根本的な設計上の問題を指している。企业が、制度とコードによって決めるべき責任を、Webを読み取り、ツールを呼び出し自由に表現できるLLMに委ねているのだ。
客服Agentのセキュリティ問題は、一文の生成を誤るだけでなく、「どのように処理すべきか」の助言で発生しやすい。モデルが明確に権限を越えてpoke,也不ru,执行した危险的命令だとしても、隠れたコンテキストが助言の方向を絶えず変えるだけで、利用者の権利とプラットフォームの責任に影響_blank.
今回のケースは、過去のWebプロンプトインジェクションとは異なる。攻撃者が情報漏えいをaloneを目指すのではなく、コンプライアンス上の経路を狙っている。ページコンテンツは単なる参考資料ではなく、業務判断に参加し始めたのである。
現在、まだ確認できない点がある。研究者Membershipが開示したテキストが、異なるモデル、ブラウザのレンダリング方式、Agentアーキテクチャで与える実際の影響は、変化 Pax possible?
ただし、企業は先に二つの Measuresくな?_entry? implement:外部コンテンツを信頼できないものとして明示し、高リスクなアクションを確定的なルールと人手の承認に任せること。セキュリティの境界は、プロンプトの中にだけ書いていてはいけない。