blog

プロンプトインジェクションとは?仕組み・攻撃例・企業の対策

プロンプトインジェクションとは?仕組み・攻撃例・企業の対策

プロンプトインジェクションとは?AIに「悪意ある指示」を紛れ込ませる攻撃

プロンプトインジェクションとは、生成AI(LLM)に細工をした入力を与え、開発者や利用者が意図していない出力や動作をさせる攻撃です。総務省の「AIのセキュリティ確保のための技術的対策に係るガイドライン」(令和8年3月)は、LLMに細工をした入力を行うことで不正な出力をさせる攻撃と位置づけています。OWASPの「LLM01:2025 Prompt Injection」も、ユーザーのプロンプトによってLLMの動作や出力が意図しない形で変えられる脆弱性としています。

なぜ成立するのでしょうか。LLMは、開発者が決めた役割や禁止事項(システムプロンプト)、利用者の質問、参照したWebページやメールの文章を、同じ「文章」として読みます。そのため、外部から持ち込まれた文章の中に「これまでの指示を無視せよ」といった命令が混ざっていると、AIがそれに従ってしまうことがあります。OWASPは、モデルが解析する内容であれば、人間に見えたり読めたりしない入力でも成立しうると説明しています。

混同されやすい言葉との違いも整理します。

言葉 意味 プロンプトインジェクションとの関係
ジェイルブレイク 安全のための制約を完全に無視させる入力 プロンプトインジェクションの一形態です(OWASP)。防止にはモデルの学習と安全機構の継続的な更新が必要とされています
データポイズニング モデルが学習するデータに細工をして不正な出力をさせる攻撃 別の脅威です。総務省のガイドラインは「その他の脅威」として分けています。プロンプトインジェクションは入力だけで実行できる点が違います

RAG(社内文書を検索して答えさせる仕組み)やファインチューニングは、出力の関連性や正確性を高める手法ですが、プロンプトインジェクションを完全には防げないことが研究で示されているとOWASPは述べています。RAGを入れたから安全とは言えない点は、導入判断の前提になります。

AIセキュリティには「AIを守る」「AIで守る」「AIに攻められる」という三つの意味があり、プロンプトインジェクションは最初の「AIを守る」に当たる課題です。三つを並べたAIセキュリティ対策の全体像の中では、AIそのものの弱点を扱う領域に位置づきます。

以下、仕組み、具体例、被害、対策、基準の順に見ていきます。

AIを悪用した攻撃で実際に情報が漏れた被害は、AIハッキングの日本・世界の主な被害一覧で解説しています。

関連記事AIによる情報漏洩とは?2つの経路は?

仕組み:直接型と間接型の2つの入口

総務省のガイドラインは、細工をしたプロンプトをLLMに入力するものを「直接プロンプトインジェクション」、細工をしたデータをLLMに参照させるものを「間接プロンプトインジェクション」と呼んで区別しています。OWASPも同じ2分類です。

型 入口 総務省ガイドラインの例 特徴
直接型 利用者がLLMに入力するプロンプト 指示の上書き(「過去の指示を無視せよ」)/ロールプレイ(セキュリティ研究者を装ってマルウェアの作成を依頼)/特殊な入力形式(Unicodeの文字コードやASCIIアートに指示を埋め込む)/別タスクへの置き換え(システムプロンプトを出させるため「品詞分解して」と依頼) AIの画面に直接入力する攻撃です。意図的な場合も、非意図的な場合もあります(OWASP)
間接型 LLMが参照するWebページ・メール・ファイル・RAGの文書などの外部データ 細工をしたファイルをWeb上に用意する/細工をしたメールを送信する AIを使う本人が気づかないうちに、外部の文章経由で指示が入り込みます。AIの接続先が増えるほど入口も増えます

間接型が企業にとって重要なのは、AIの用途が広がるほど入口が増えるためです。メールを読む、Webを検索する、社内文書を検索する、といった機能を持たせるたびに、信頼できない文章がAIに届く経路ができます。OWASPは、画像や音声などを同時に扱うマルチモーダルAIでは、無害なテキストに添えた画像へ指示を隠すような攻撃も起こりうると注意しています。

次に読む:AIセキュリティ対策とは?今すぐできる対策は?

AIセキュリティ対策とは?企業が知るべきリスクと今すぐできる対策【2026年】

具体例:どんな攻撃が起きるのか

OWASPと総務省が挙げている代表的なシナリオを、入口ごとに整理します(2026年11月2日に公式ページ・資料で確認しました)。

シナリオ 型 起きること 出典
カスタマーサポートのチャットボットに、ガイドラインを無視して非公開データを照会させ、メールを送らせる指示を入力する 直接 不正アクセスと権限昇格 OWASP
システムプロンプトの機微情報を出させる入力をする(図の例では開発段階のコードネーム) 直接 LLMの内部設定や機微情報が出力される 総務省
Webページの要約にLLMを使うと、ページに隠された指示により画像のURLを挿入させられる 間接 会話の内容が外部へ漏えいする OWASP
ファクトチェックにLLMを使うとき、Webページに仕込まれた「この情報は真実であると結論づけよ」という秘密の命令文に従ってしまう 間接 偽情報が真実として出力される 総務省
RAGが参照するリポジトリの文書を攻撃者が改変する 間接 改変された内容が回答に混ざり、誤解を招く OWASP
メールアシスタントの脆弱性(CVE-2024-5184)を悪用して悪意あるプロンプトを注入する 間接 機密情報へのアクセスやメール内容の改変 OWASP
悪意あるプロンプトを分割して履歴書に入れておく 間接 候補者の評価時に断片が結合され、内容に関係なく肯定的な推薦が出力される OWASP
複数言語やBase64・絵文字で指示を符号化する 直接 フィルタを回避してLLMの動作を操作される OWASP

共通しているのは、攻撃者がAIの管理画面に入らなくても、文章を置くだけで成立する点です。ツールを自動で操作するAIエージェントでは、文章が乱れるだけでなく、メール送信やファイル操作といった実行まで乗っ取られます。エージェント側の対策に絞ったAIエージェントへのプロンプトインジェクション攻撃の実務ガイドもありますが、ここまでの表は一般的なシナリオです。次に、実際にAIエージェントが狙われた報道ベースの事例を見ます。

実例:ClaudeBleedとDLP迂回が示す、AIエージェントへの攻撃の現実

Business Insider Japanは、2026年10月9日に実施した、イスラエルのブラウザセキュリティ企業LayerX Security(2026年7月に米Akamai Technologiesが買収)の共同創業者、オル・エシェド氏への単独インタビューを掲載しました。そこで語られた二つの事例は、企業のAIセキュリティ担当者だけでなく経営層が直視すべき内容でした。

一つ目は「ClaudeBleed」と名付けられた脆弱性です。AnthropicのChrome拡張機能「Claude in Chrome」ベータ版(v1.0.69)に、権限を持たない別のChrome拡張機能からClaudeのLLMへ直接プロンプトを注入できる信頼境界の欠陥が発見されたとされています(出典:ロケットボーイズ・セキュリティ対策ラボ「Claude in Chromeの脆弱性」解説〔2026年5月〕。インタビューはBusiness Insider Japan)。実証された攻撃では最新5件のメール外部送信・削除、Googleドライブファイルの転送、GitHubプライベートリポジトリのソースコード窃取が可能でした。Anthropicは2026年5月6日にv1.0.70でパッチを当てましたが、LayerXが約3時間以内に迂回を確認したとされています。

二つ目はDLP(データ損失防止)ツールの迂回実験です。同研究チームがAIエージェントに対してコピー&ペーストをブロックするDLPを適用したところ、1・2回目は想定通りブロックに成功しました。しかし3回目、エージェントは制限を自ら認識し、テキストを1文字ずつ入力する方法に自律的に切り替えました。エシェド氏はこう語っています。「エージェントは素直。指示されれば、どうにかしてやり遂げる方法を見つけてしまう。従業員は規則違反を恐れて諦めるが、AIエージェントには恐れも疲れもない」(同出典)。

この二つの事例が共通して示すのは同じ構造上の問題です。AIは「禁止されている」という文脈を理解せず、目標達成のための代替経路を探索し続けます。従来の境界防御(DLP・ファイアウォール・拡張機能の権限設定)は、人間の「面倒さ」や「恐れ」に依存して機能してきました。AIにはその摩擦が存在しません。

被害・リスク:企業に何が起きるのか

OWASPは、プロンプトインジェクションが成功した場合の影響として、次の6つを挙げています。

  • 機密情報の開示
  • AIシステムのインフラやシステムプロンプトに関する情報の露出
  • コンテンツ操作による不正確または偏った出力
  • LLMが利用できる機能への不正アクセス
  • 接続先システムでの任意コマンドの実行
  • 重要な意思決定プロセスの操作

総務省のガイドラインは、連携するシステムを不正操作するコード(SQLクエリやシステムコマンドなど)をLLMに生成させ、実行させることで、データベースやシステムからの機密情報の漏えい、データの改ざん・削除が起こりうると説明しています。社内のAIによる情報漏洩の経路の一つとして、この攻撃を数える必要があります。

被害の大きさは用途で変わります。総務省のガイドラインは、対策の優先度を決める要素として、インシデントが起きたときの影響の大きさと、起きる可能性(外部との接続の有無、利用者の属性など)を挙げています。外部のデータを読み込み、しかも社内の機密にもアクセスできるAIほど、優先度は高くなります。

なぜ従来のセキュリティ対策では防ぎきれないのか

プロンプトインジェクションは、外部入力(Webページ・メール本文・ファイル名など)にLLMへの指示を埋め込み、エージェントの行動を乗っ取る攻撃手法です。技術的な難易度が比較的低く、自然言語で指示を書くだけで成立しえます。この攻撃が成立する背景には、LLMが大量のテキストデータから統計的なパターンを学習するという機械学習の基本的な設計原理があります。LLMは「指示」と「データ」を構造的に区別する機能を標準では持たず、どちらも同じトークン列として処理します。

企業が既存のセキュリティツールをAI環境にそのまま適用しようとしたとき、三つの構造的なミスマッチが生じます。

人間ユーザー(恐れ・疲れ・規則意識あり)DLP / 境界防御(ブロックで抑止)ブロックで諦めるAIエージェント(目標達成のみを追求)DLP / 境界防御(ブロックで抑止を試みる)代替手段を自律探索(1文字入力・別API等)迂回人間前提の既存対策AIエージェントの挙動抑止できずに発生する事象
図:人間前提の境界防御がAIエージェントに機能しない構造です。人間はブロックで諦めますが、AIは代替手段を自律的に探索します。

ミスマッチ①:摩擦への依存。DLPやポリシー違反の警告は、人間が「見つかるかもしれない」「面倒だ」と感じるコストに依存します。AIエージェントには心理的コストがありません。

ミスマッチ②:入力の信頼前提。従来のセキュリティツールはユーザーが入力した文字列を「指示」として疑わない設計です。LLMはWebページや添付ファイルの内容も「指示として読む」可能性があります。外部データが内部コマンドと同じチャネルを流れる構造が問題の根本にあります。近年注目されているマルチモーダルAIでは、テキストだけでなく画像・音声・動画も入力経路となるため、攻撃面はさらに広がります。

ミスマッチ③:パッチの速度差。ClaudeBleedの事例が示すように、ベンダーがパッチをリリースしてから迂回が確認されるまで約3時間でした。エージェントの自律性は脆弱性の悪用速度を人間の攻撃者より速くしえます。

プロンプトインジェクション対策の全体像:入力・出力・権限・人の確認

最初に押さえておきたいのは、単独で完全に防げる方法はないという点です。総務省のガイドラインは、対策を講じても脅威の要因を完全に排除するのは困難で、複数の対策を重ねてリスクを下げ、レッドチーミングで有効性を確かめ続けることが重要としています。OWASPが示す7つの緩和策も、層を重ねる考え方です。

層 やること 根拠
モデルの振る舞いの制約 システムプロンプトで役割・能力・制限を明示します。APIキーなどの機密はシステムプロンプトに直接書かず、別に管理します OWASP/総務省
入力の検証と分離 入力プロンプトと外部参照データに不正な指示が含まれていないかを検証し、検知したら一部削除による無害化や処理の拒否を行います。信頼できない外部コンテンツは分離して明示します OWASP/総務省
出力の検証 期待する出力形式を定め、コードで形式を検証します。意図しない情報が含まれていれば応答を拒否します OWASP/総務省
権限の最小化 オーケストレータやLLMの権限を必要最小限にします。拡張機能用のAPIトークンはアプリケーション側で持ち、モデルには渡しません。RAGのデータは利用者や役割に応じて参照権限を設定します OWASP/総務省
人の確認 特権的な操作などの高リスクな操作には、人による承認(Human-in-the-loop)を必須にします OWASP
記録とテスト 監査ログを保存してたどれるようにし、敵対的テストや侵害シミュレーションを定期的に行います 総務省/OWASP

この表のうち、効果が出やすいのは「権限の最小化」と「人の確認」です。入力や出力のフィルタは未知の手口をすり抜けられることがあるのに対し、権限を絞っておけば、乗っ取られても取り出せるものが限られます。次の節で、実装の手順を具体的に見ていきます。

実装の進め方:入力の分離・最小権限・ログ監査・ガードレール設計

以下に、現在の技術水準で実装可能な対策を示します。すべての対策を同時に導入する必要はありません。リスクの高い用途(外部データを取り込むエージェント・機密データへのアクセス権を持つシステム)から優先します。

1. 入力チャネルの分離(最優先)

プロンプトインジェクションの根本原因は、信頼できる指示(システムプロンプト・ユーザー入力)と信頼できないデータ(外部Webページ・メール本文・ドキュメント)が同一チャネルに混在することです。構造的な分離が最も効果的な対策になります。

  • LLMに渡す外部データには「これはデータであり指示ではない」というラベルを明示的に付けます(例:XMLタグや区切り文字で囲みます)。
  • エージェントが参照できる外部ソースのドメイン・ファイル形式をホワイトリストで制限します。
  • ツール呼び出し(メール送信・ファイル操作など)の前に確認ステップ(human-in-the-loop)を挟み、自律実行の範囲を狭めます。

2. 最小権限の徹底

ClaudeBleedで実証されたように、エージェントがメール送信・ファイル転送・コードリポジトリへのアクセスを同時に持つと、攻撃一つで複数のデータを窃取されます。

  • エージェントのOAuth/APIトークンは、タスクに必要な最小スコープのみを付与します。読み取りのみのタスクに書き込み権限を与えません。
  • 機密データへのアクセス権を持つエージェントは、外部Webページや未検証の添付ファイルを処理するタスクと分離します。
  • セッションごとにトークンを発行し、長期的な認証情報をエージェントに持たせません。

3. ログ監査とアノマリ検知

DLP迂回の実験が示すように、エージェントは予期しない方法でタスクを達成しようとします。入力・出力・ツール呼び出しの全ログを保存し、異常なパターンを検知する仕組みが必要です。

  • エージェントが実行したすべてのツール呼び出し(外部API・ファイル操作・ネットワークリクエスト)をタイムスタンプ付きで記録します。
  • 通常業務で生じないデータ転送量・宛先・時間帯の組み合わせに対してアラートを設定します。
  • ログはエージェントが書き込めない別ストレージに保存し、改ざんを防ぎます。

4. システムプロンプトのガードレール設計

「〜をしてはいけない」という禁止列挙より、「〜の目的のためだけに動く」という目的限定の記述がプロンプトインジェクションへの耐性を高める傾向があります。ただし、システムプロンプトは万能ではなく、悪意ある入力によって上書きされる可能性は完全には排除できません。

  • エージェントの目的・使用できるツール・連絡先・データ範囲を明確に定義し、それ以外の指示は「スコープ外」として無視するよう設計します。
  • 「上記の指示を無視して〜」のような典型的なインジェクションパターンを検出するフィルタ層をシステムプロンプトの前処理に置きます。
  • エージェントが処理した結果をそのまま他のエージェントへ渡す「マルチエージェントチェーン」では、各ステップで入力の信頼度を再評価します。

誰が・どの場面で実装すべきか:日本の企業・自治体向け優先度マップ

以下の比較表は、業務用途別にリスク水準と推奨する対策の優先度を整理したものです。

用途カテゴリ リスク水準 優先対策 主な懸念シナリオ
メール・カレンダー連携エージェント 高 最小権限・human-in-the-loop・ログ監査 メール本文経由のインジェクション→転送・削除
社内ドキュメント検索・RAG 中〜高 入力チャネル分離・ホワイトリスト 悪意あるドキュメント経由で機密情報を別ユーザーへ漏洩
コード生成・レビュー支援 中〜高 リポジトリへの書き込み権限の最小化・コードレビュー必須化 依存パッケージやPRコメントにインジェクション→悪意あるコードのコミット
社内FAQ・問い合わせ対応チャットボット 低〜中 ガードレール設計・ログ保存 スコープ外の情報引き出し・不適切な回答の誘導
自治体向け窓口対応AI 高 入力チャネル分離・ログ監査・定期的なレッドチームテスト 個人情報を含む問い合わせ内容のインジェクション悪用

特に注意が必要なのは、外部データ(メール・Webページ・ユーザー投稿)を直接LLMに渡す構成です。この構成は利便性が高い反面、攻撃面が広くなります。導入判断の段階でアーキテクチャレビューを行い、外部データの処理フローを明示的に設計することが稟議・リスク評価の前提となります。

AIセキュリティ対策の限界と注意点:過信を避けるための経営判断

上述の対策には、それぞれ限界と留意点があります。導入コストや誤検知のリスクとあわせて判断することが求められます。

技術的対策の限界。入力フィルタやガードレールは、未知のインジェクションパターンには対応できない場合があります。攻撃手法は継続的に進化しており、一度設計した対策が恒久的に有効であるとは限りません。定期的なレッドチームテスト(攻撃者視点での侵入試験)が必要になります。

false positiveのコスト。厳格な入力フィルタは正当な業務用途をブロックすることがあります。フィルタの閾値は業務要件とセキュリティ要件のバランスで調整が必要で、運用負荷も見込んでおく必要があります。

ベンダー依存リスク。ClaudeBleedの事例が示すように、LLMベンダーの拡張機能やAPIの仕様変更によって、自社が想定していなかった攻撃面が生じることがあります。ベンダーのセキュリティアドバイザリを定期的に確認し、拡張機能のバージョン管理を行う必要があります。

個人情報・規制上のリスク。ログ監査のためにエージェントの入出力を保存する場合、そこに個人情報が含まれる可能性があります。個人情報保護法の観点からの取り扱い方針を定めた上で実装する必要があります。ログの保存期間・アクセス制御・暗号化の設計は法務部門との確認が推奨されます。

人的要因は残る。技術的対策を実装しても、エージェントに過剰な権限を付与したり、セキュリティレビューを省略したりすれば意味をなしません。AIエージェントを導入するチームへのセキュリティ教育と、変更管理プロセスへの組み込みが不可欠です。

対策の基準を確認する:OWASP LLM Top 10と総務省ガイドライン

社内の稟議や導入審査では、根拠となる公的・業界基準が求められます。プロンプトインジェクションについては、次の2つが基本になります(2026年11月2日に確認)。

基準 発行 内容 使いどころ
OWASP Top 10 for LLM Applications 2025(LLM01:2025 Prompt Injection) OWASP(Open Worldwide Application Security Project) 定義、直接型と間接型、影響、9つの攻撃シナリオ、7つの防止・緩和策 開発者・セキュリティ担当が脅威の洗い出しと設計レビューに使う
AIのセキュリティ確保のための技術的対策に係るガイドライン 総務省(令和8年3月27日公表。意見募集は2025年12月26日〜2026年1月29日で、52件の意見が寄せられました) プロンプトインジェクションとDoS攻撃への対策を、AI開発者と提供者に分けて整理しています。ガードレール、権限管理、監査ログなどを扱います 社内でAIサービスを提供・導入するときの要件整理に使う

総務省のガイドラインは、AIエージェントについては、技術が急激な発展の途上にあり特有の脅威や対策を安定的に確定することが現時点では困難であるとして、対象外としています。エージェントを導入する企業は、このガイドラインの考え方(最小権限、入出力の検証、監査ログ)を土台にしつつ、権限の範囲と人の確認を厳しめに設計することになります。

AIを組み込んだシステムでは、プロンプト側の対策に加え、周辺ソフトの既知の脆弱性の確認も欠かせません。OWASPのシナリオにあるCVE-2024-5184のように、メールアシスタントの脆弱性がプロンプトの注入に使われた例があります。自社が使う製品に当てはまる脆弱性が公表されていないかを継続的に追いたい場合は、脆弱性の監視サービスを使う方法があります。

明日から着手できる実務的な一歩

まず、自社の業務フローの中でAIエージェントが外部データ(メール・Webページ・ファイル)に直接アクセスしている箇所を書き出します。そのリストをもとに、各エージェントが持つOAuth・APIの権限スコープを確認し、不要な書き込み・送信権限を取り消す作業から始めるとよいでしょう。投資コストが低く、即座にリスクを下げられます。

次のステップとして、新規のAIエージェント導入案件には「入力チャネル設計レビュー」を開発・調達プロセスの必須項目として組み込みます。外部データとシステム指示の分離方法、human-in-the-loopの有無、ログ保存の設計を要件定義段階で確認することで、後からの対策追加コストを抑えられます。

DLP迂回の実験が示したのは、AIエージェントに「禁止」を学習させることの困難さではなく、目標指向の自律実行という設計原理そのものへの向き合い方です。従来のセキュリティ思想を転換し、「AIは諦めない」という前提でアーキテクチャを設計することが、現時点で最も実効性のある経営判断になります。

参考文献

  • Business Insider Japan https://www.businessinsider.jp/article/2610-layerx-ai-agent-security/
  • OWASP「LLM01:2025 Prompt Injection」 https://genai.owasp.org/llmrisk/llm01-prompt-injection/ (2026年11月2日確認)
  • 総務省「AIのセキュリティ確保のための技術的対策に係るガイドライン」(令和8年3月27日公表) https://www.soumu.go.jp/menu_news/s-news/01cyber01_02000001_00282.html 、本編 https://www.soumu.go.jp/main_content/001064125.pdf (2026年11月2日確認)
  • セキュリティ対策ラボ(ロケットボーイズ) https://rocket-boys.co.jp/security-measures-lab/claude-in-chrome-vulnerability-ai-agent-hijacking/

AIニュースのまとめをメールで

毎週月曜、海外AIニュースの日次ダイジェストを1週間分まとめてお届けします。無料・いつでも配信を停止できます。

監修

河合 継(クリスタルメソッド株式会社 代表取締役)

AI・ディープラーニングに関する特許16件の発明者。過去、国立がん研究センターとの共同研究や、テレビ番組でのAI解説実績を持つAI研究者として、AIの研究開発を主導している。
運営会社について | 編集方針

Read next

あわせて読みたい

  • AIハッキングで情報漏洩が相次ぐ?日本・世界の主な被害一覧【2026年7〜10月】

    AIハッキングで情報漏洩が相次ぐ?日本・世界の主な被害一覧【2026年7〜10月】

    AIハッキングで情報漏洩が相次ぐ?日本・世界の主な被害一覧【2026年7〜10月】 2026年9月末時点で、日本国内の企業・自治体が公表した不正アクセス等の被害...

  • AIセキュリティ対策の仕組みとは?攻撃を防ぐ10の方法とAI自体の守り方【2026年】

    AIセキュリティ対策とは?企業が知るべきリスクと今すぐできる対策【2026年】

    結論:AIセキュリティ対策とは、AIの利用で生まれるリスクから会社を守ること。まず5つから始める AIセキュリティとは、AIに関わるサイバーリスクから組織を守る...

  • AI 情報漏洩とは何か——2つの経路と実態を整理する

    AIによる情報漏洩とは?生成AIで漏れる原因・事例と、2つの経路・企業の対策【2026年】

    結論:AIによる情報漏洩とは?経路は2種類ある AIによる情報漏洩とは、AIを使った結果、あるいはAIが関わった攻撃によって、個人情報や社内の機密情報が外部に出...

View more