AI時代のサイバーセキュリティリスクへの対応（第3回） ―AIの利用をめぐるリスクとエージェント型AIへの対応―

(1) シャドーAI

　生成AIの急速な普及に伴い、従業員等が、情報システム部門等による把握・承認を経ないまま、個人のアカウントや無償のサービス等を通じてAIを業務に利用する、いわゆる「シャドーAI」が広がっていると考えられます。IPAの「情報セキュリティ10大脅威2026解説書[組織編]」においても、本来組織外への持ち出しが禁止されている業務データや資料等を生成AIに入力してしまうこと等による情報漏えいのリスクが指摘されています。生成AIに指示する際に、データをコピー・ペーストしてプロンプトとして入力したり、資料を生成AIに読み込ませたりすることも多いことを踏まえると、会社が管理できていない状況で個人データ、営業秘密をはじめとする自社の秘密情報、及び取引先等の第三者に対して秘密保持義務を負う情報が入力されてしまう可能性は無視できず、情報管理上のリスクとして適切に対応すべき必要性は大きいと考えられます。

　シャドーAIへの対応としては、利用を一律に禁止するのではなく、会社が承認し従業員に利用可能とするAIサービス※2を選択肢として提供した上で、社内規程等において個人で契約するAIサービスの利用に係る承認基準を示しつつ※3、所定の部署への事前申請及び承認の手続も設けることでその利用状況を可視化し、社内ルールの整備や従業員教育と組み合わせて対応していくことが考えられます※4。

(2) 入力情報の漏えい・意図しない学習への流用

　生成AIに業務上の情報を入力する場面では、事業者側からの漏えいや、個人情報保護法に基づく個人データの第三者提供規制への違反等を防止するために、契約等で手当てをしておく必要があります。この点については、例えば、経済産業省が2025年2月に公表した「AIの利用・開発に関する契約チェックリスト」（以下「チェックリスト」）※5が有用な着眼点を示しています。

　同チェックリストは、インプットが、①学習目的に利用されない場合、②当該利用者へのサービス提供に必要な範囲でのみ学習目的に利用される場合、及び③汎用的な学習目的（AIサービス提供事業者のサービスの改善・改良目的等）に利用される場合、の3つに整理しています。契約上の利用条件を定める条項において、サービス提供目的以外の利用、とりわけ事業者の自社技術開発や学習目的での利用が許容されていないかを確認し（チェックリスト14頁「AI利活用チェックリスト（インプット）」A-3-2利用条件）、③に該当する場合には、個人データ、営業秘密をはじめとする自社の秘密情報、及び取引先等の第三者に対して秘密保持義務を負う情報を入力してよいかを慎重に判断することが求められます※6.※7。

(3) プロンプトインジェクション

　AIに与える指示（プロンプト）に不正な指示を埋め込むことで、AIに本来意図しない動作をさせる「プロンプトインジェクション」も、AIの利用に伴う代表的なサイバーセキュリティリスクの1つであり、これはAIに特有の攻撃手法です。プロンプトインジェクションには、攻撃者自身が利用者として不正な指示を入力する「直接プロンプトインジェクション」と、外部のウェブページ・文書・電子メール等に攻撃者があらかじめ不正な指示を埋め込んでおき、これをAIに読み込ませて処理させることで、AIが意図しない動作（機密情報の外部送信や不正な操作等）を行う「間接プロンプトインジェクション」とがあります。情報システム部門がAIサービスを導入する際には前者について留意する必要がある一方で、一般の従業員が業務でAIサービスを利用する場合に問題になり得るのは後者であり、利用する従業員の意図に関わらず、AIサービスに処理させた外部データに含まれる指示に起因してAIサービスが意図しない動作をし得る点に特徴があります※8。

　もっとも、プロンプトインジェクションへの技術的な対策は、その性質上、基本的にはAI開発者・AI提供者が講じるべきものであると考えられ※9、また、AIサービスをそのまま利用する企業が攻撃の成立自体を完全に封じることは技術的に困難であると考えられます。さらに、AI開発者・AI提供者が講じるべき対策自体についても、上記IPA「情報セキュリティ10大脅威2026解説書［組織編］」は、不正なプロンプトを識別する技術的対策に完璧なものは知られていないことを前提に、利用企業の側において、AIが参照するデータが外部由来の危険なデータで汚染されないようにする配慮の必要性を指摘しています。

　こうした観点から、利用企業の側でも、攻撃が成立した場合に被害が拡大することを防ぐために、例えば、①AIに参照させる情報とアクセス権限を必要最小限に絞り、機密情報を参照経路から分離しておくことで、攻撃が成立した場合の流出範囲を限定すること、また、②従業員教育において、出所の不確かな文書・ウェブページ・電子メール等をAIに読み込ませ、あるいはその内容をプロンプトに貼り付けて処理させる行為自体が攻撃の経路となり得ることを周知すること等が考えられます※10。なお、①の参照範囲・権限の限定は、AIの活用の幅を狭める側面もあるため、一律に絞り込むのではなく、業務上の必要性（ベネフィット）と、参照させる情報の機微性や攻撃が成立した場合の影響の大きさ（リスク）とのバランスを踏まえて設定していくことが重要と考えられます。

(1) フィッシング等の高度化

　フィッシング（phishing）とは、実在する組織を騙って、ユーザネーム、パスワード、アカウントID、ATMの暗証番号、クレジットカード番号といった個人情報を詐取することを指します※11が、まず、上記IPA「情報セキュリティ10大脅威2026解説書[組織編]」において、AIによる翻訳機能・能力の向上により、攻撃者がウェブページの翻訳やフィッシングの文面を標的の母国語で違和感なく表現することが可能になり、言語の壁を実質的に乗り越えた多言語での攻撃を格段に容易にすることが指摘されています。これにより、受信者が攻撃者のウェブページ・メール等を正規のウェブページ・メール等と区別することが困難になっていると考えられます。

　こうした高度化の影響を受け得ると考えられるのが、まず、企業が提供するサービスの利用者（顧客）を標的とするフィッシングです。フィッシング対策協議会に報告されているフィッシングの報告件数は、月による増減はあるものの引き続き高い水準で推移しています※12。顧客向けにオンラインサービスを提供する企業にとって、これには自社が騙られることによる顧客への被害や信頼毀損のリスクがあり、自社が送信するメールへの送信ドメイン認証技術（DMARC※13等）の導入、顧客に対するパスキー※14等の耐フィッシング性の高い認証方式の提供、フィッシングサイトを閉鎖させるための対応や顧客への注意喚起といった、サービス提供者としての対策が重要と考えられます※15。

　また、フィッシングは、自社の役職員を標的とする形でも問題となります。上記IPA「情報セキュリティ10大脅威2026解説書[組織編]」も、標的型攻撃等において、不正なリンク先を記載したメールが一連の攻撃の端緒として送り付けられることがあり、手口の巧妙化により真偽の見極めが困難になっていると指摘しています。こうしたメールは、本文や件名、添付ファイル名が業務や取引に関連する内容に偽装され、実在する組織の差出人名が使われる場合もあるとされており、生成AIの悪用による文面の巧妙化は、メールの受信者がその不自然さに着目して攻撃者からのメールであることを見抜くという従来の対応の実効性を、この場面でも低下させるものです。

(2) ディープフェイクによるなりすまし

　生成AIの悪用は、上記(1)のフィッシングのようなテキストベースの攻撃にとどまりません。実在の人物の顔や声を高い精度で合成する「ディープフェイク」により、経営者や取引先になりすまして送金や情報開示を指示する手口が、現実の脅威となっています。上記IPA「情報セキュリティ10大脅威2026解説書[組織編]」も、ビジネスメール詐欺（Business E-mail Compromise：BEC）の手口として、なりすましへのAIによるディープフェイク等の利用が確認されているとしています。実際、2024年1月の段階ですでに、海外の多国籍企業の香港拠点において、攻撃者がディープフェイクによりCFO（最高財務責任者）等の姿と声を再現した偽のウェブ会議を開催し、これに参加した従業員が送金を行い、当時のレートで約37.5億円が詐取された事例が存在しているとされています※16。

　ディープフェイクを用いた攻撃の特徴は、実在の人物の映像や音声そのものを高い精度で再現することで、相手の姿や声を確認するという従来の本人確認では見抜きにくいという点にあります。上記の香港の事例でも、従業員は、ビデオ会議に映し出されたCFOや同僚の映像・音声から本物の会議であると信じ込み、送金に至ったとされています。また、上記IPA「情報セキュリティ10大脅威2026解説書［組織編］」は、ビジネスメール詐欺の手口として、なりすました攻撃者が「緊急」の対応であることや「他の従業員には秘密」であることを申し添えるケースがあると指摘しており、冷静に判断できない状況を作出し得る手口への注意が必要です。

(3) 対応の方向性：「人が見抜く」ことができない可能性を前提とした仕組みづくり

　上記(1)及び(2)の手口は、偽装に用いられる情報の形式こそ異なるものの、生成AIの悪用により偽装の精度が人間の識別能力を上回りつつあるという点で共通しています※17。したがって、利用者・従業員が真偽を見抜くことを対策の前提とするのではなく、見抜けなかったとしても被害が生じない、又は拡大しない仕組みを設けることが重要と考えられます。上記IPA「情報セキュリティ10大脅威2026解説書［組織編］」も、高度化するソーシャルエンジニアリングへの備えとして、経営者層に対し、複数名によるチェックを規程化し運用を徹底するなど、決裁・承認プロセスのガバナンス強化を求めています。この点に関して、具体的には、以下のような対応が考えられます。

　まず、重要な処理に関する手続的なルールの策定及び実施が挙げられます。送金、振込先の変更、認証情報の入力、機密情報の開示といった重要な要求については、それがいかに自然な文面・映像・音声によるものであっても、指示が伝達された経路とは別の経路（あらかじめ登録された連絡先への架電等）で発信元に確認する、申請者とは異なる承認権限者による承認を経る、単一のメールやビデオ会議の指示のみでは実行しない、といった手順を定めておくことが考えられます。その上で、とりわけ異例・緊急を強調する依頼は、冷静な検証の機会を奪う攻撃の特徴であり得ることを踏まえ、緊急時こそ所定の確認手順を省略しない運用を徹底することが重要と考えられます。

　また、これを支える組織側の対応として、技術面では、上記(1)で述べた耐フィッシング性の高い認証方式や送信ドメイン認証技術の導入等の対策を、社内システム（メールの受信者である役職員の側が利用するシステム）の側にも講じておくことに加え、アクセス権限の最小化やネットワークの分離により、1つの認証情報やアカウントが侵害された場合でも被害が連鎖しにくい構成とし、侵害の兆候を早期に検知して対応する体制を整えることが考えられます。

　さらに、従業員が不審な連絡について事前に相談したり、誤信に基づく操作や誤操作又はそのおそれ等について速やかに報告・連絡・相談したりできる環境を整えておくことも、被害の早期発見の観点から重要です。従業員教育についても、文面や映像の不自然さから真偽を「見分ける」訓練だけではなく、重要な要求に接した際には定められた確認手順を必ず踏むという行動を定着させる方向も重視し、とりわけ送金権限を有する経営層・財務部門については、想定されるシナリオに基づく訓練を行うことが有益と考えられます。

(1) エージェント型AIに特有のリスク

　近時、AIが自律的に判断・行動し、外部のシステムやツールと連携しながら、複数の手順からなるタスクを実行する「エージェント型AI（AIエージェント）」※18の業務利用が急速に広がっています。エージェント型AIは、業務の大幅な効率化が期待される一方で、人間の都度の指示や確認を経ずに自律的に動作し、外部システムやデータにアクセスして現実の操作を行う場合に、これまでの生成AIとは量的・質的に異なるリスクをもたらし得ます。

　リスクとしてまず挙げられるのは、権限と被害範囲の拡大です。エージェント型AIは、目的を達成するために、アクセスを許された範囲のデータやシステムを自律的に利用します。そのため、外部システムへのアクセス権限、外部に情報を送信する権限等と結びつくことで、AIによる意図しない動作が外部に影響をもたらす実際の操作として実行されるおそれがあり、通常のAIの場合と比較して、誤作動や攻撃を受けた際の被害がより広範に及び得ると考えられます。

　また、入力情報管理の実効性が損なわれるリスクにも留意が必要です。上記1.で述べた入力情報の管理ルールを人間向けに整備しても、エージェント型AIが、アクセス可能な領域から自律的に情報を取り込んでしまえば、ルールが実効性を失うおそれがあります。この点については、人間が意図的に入力しない情報であっても、エージェント型AIが参照し得る領域に置かれていれば取り込まれ得ることを前提に、入力を禁止すべき情報をエージェント型AIがアクセスし得る領域とは別の領域に分離して管理しておくといった対応も検討の対象になり得ると考えられます。これは、エージェント型でないAIとの関係でも重要な対応ですが、エージェント型AIの場合には、一層その点に留意する必要があります。

　こうしたリスクに対し、国内外で、エージェント型AIに着目したガイダンスの整備に向けた動きが進んでいます。

(2) 国内のガイダンス

　国内では、例えば、デジタル庁が2026年6月12日に改訂版を公表した「行政の進化と革新のための生成AIの調達・利活用に係るガイドライン（第2.0版）」において、対策の一例として、出力結果の適切さの判断を行わずにタスクを実行するAIエージェント等の作成を制限し、又は利用者がこれを作成した場合について、利用開始前に提供者若しくはAI統括責任者（CAIO）への報告を求める旨の利活用ルールの整備等が挙げられています。同ガイドラインの対象読者は生成AIの調達・利活用に関わる政府職員であるものの、事業者にとっても参考になるものと考えられます。また、総務省及び経済産業省が2026年3月31日に改訂版を公表した「AI事業者ガイドライン（第1.2版）」の別添（付属資料）も、AIエージェントについて加筆がなされているところ、例えば、「AI利用者」に関する事項として、定期的な操作履歴確認や報告、出力によって重大な影響又は被害が生じ得る場合に人間の判断を介在させる仕組みに基づいた判断、及び、意図しないデータの漏洩リスクの被害を抑えるためのデータ最小化が重要であること等についての追記がなされています※19。もっとも、総務省が2026年3月に公表した「AIのセキュリティ確保のための技術的対策に係るガイドライン」は、AIエージェントについて、技術が急激な発展の途上にあり、特有の脅威や対策を安定的に確定することが現時点では困難であるとして、同ガイドラインの対象外としており、この分野の対策がなお発展途上にあることがうかがえます。

　なお、企業が利用するエージェント型AIが第三者による攻撃を受けるなどした結果、取引先・顧客等に損害が生じた場合には、関係当事者間における契約責任に加えて、被害者との関係で利用企業自身が不法行為責任を負い得る点にも留意が必要です。この点に関して、経済産業省が2026年4月に公表した「AI利活用における民事責任の解釈適用に関する手引き[第1.0版]」は、AIを人の関与の度合いに応じて「補助／支援型AI」と「依拠／代替型AI」とに分けて分析し、前者についてはAIの利用の有無によって基本的に注意義務の水準は左右されないものの、後者については、①人の判断・行動を介在させることでは実現困難な効用が見込まれること（必要性）及び②一定の精度や安全性を備えていること（精度及び安全性）を前提として、AI利用者の注意義務が、人が合理的な判断や行動を行う注意義務から、AIシステムを組み入れた業務プロセスを適正に構築するとともに、リスクを可能な限り低減しながら運用を行う義務へと転換されると説明しています※20。同手引きは、補論としてAIエージェントの想定事例も取り上げており、本項で紹介するガイダンス等を踏まえた体制構築や合理的な対応策の実施は、こうした不法行為責任の評価においても考慮要素になり得るものと考えられます。

(3) 国外のガイダンス

　国外では、例えば、2026年5月1日に、米国、英国、豪州、カナダ及びニュージーランドの5か国（いわゆるファイブ・アイズ）のサイバーセキュリティに関する各機関により、エージェント型AIのセキュリティに特化した共同ガイダンス「Careful adoption of agentic AI services（エージェント型AIサービスの慎重な導入）」が公表されています。

　同ガイダンスは、政府、重要インフラ、及び産業界向けに、エージェント型AIがもたらす主要なセキュリティ上の課題とリスクを理解できるように作成されたものです。その上で、①エージェント型AIのリスクについて、プロンプトインジェクション等のAIに関するリスクはエージェント型AIのリスクとしてあてはまること、②連携するツールや外部データ源等の構成要素が増えるほど攻撃対象領域が拡大すること、③エージェント型AIにおいてはAIシステムと非AIシステムとの間で情報が絶えず行き来して、ある予期せぬ動作や侵害された動作がそれに続く動作に波及しシステム全体に影響を及ぼす可能性があるなど複雑性を増すこと等を指摘しています。

　その上で、このようなリスクに対する対策の枠組みとしては、エージェント型AIを独立した新たなセキュリティ領域として扱うのではなく、セキュア・バイ・デザイン、多層防御、ID及びアクセス管理、継続的なモニタリング、インシデント対応といった既存の確立された原則を適用すべきとしつつ、エージェント型AIに特有のリスクを、「権限リスク（Privilege risks）」、「設計・構成リスク（Design and Configuration risks）」、「挙動リスク（Behaviour risks）」、「構造リスク（Structural risks）」、「説明責任リスク（Accountability risks）」の5つの類型に整理し、類型ごとに、リスク及び対応の方向性を示しています。

　対応の方向性としては、設計、開発、展開（deployment）、運用（operation）に関してそれぞれベストプラクティスが示されていますが、利用企業として関連し得る点としては、例えば、以下が掲げられています。

• ガバナンス（Governance）：自律的なエージェント型AIを管理するためのガバナンスポリシーを策定・維持し、エージェント型AIに関する法的な説明責任とリスクの所在をポリシーにおいて定義するとともに、組織のスキル向上を図りAIリテラシーを向上させる
• 段階的導入（Progressive deployment）：アクセス権と自律性を段階的に拡大しながら導入を行い、人間の監督と理解ができる状況を維持しつつ、エージェント型AIの独立性を徐々に高め、継続的な評価を行う
• セキュア・バイ・デフォルト（Secure by default）：問題の内容が不確実な状況においてはエージェント型AIが一時停止して人間のレビュアーに問題をエスカレーションする「フェイルセーフ」をシステムのデフォルト設定とする
• ガードレールと制約（Guardrails and constraints）：拒否リスト※21やAPIレベルの安全ポリシー※22等の厳格な制約を実装する
• モニタリング・監査（Monitoring and auditing）：入出力のみならず内部プロセスを含む全てのエージェント型AIの動作を監視し、包括的なログとリアルタイムの監視を維持するとともに、異常検知により、異常なパターンを特定してアラートや一時停止を行う
• 人間の関与（Human in the loop）：影響が大きい行動をエージェント型AIが事前の人間の承認なしに自律的に実行できないようにし、人間の承認を要する場面の判断は設計者又は運用者が行い、エージェント型AI自体に委ねない
• 権限管理・認証（Privileges and authentication）：エージェントの権限をタスクに必要な最小限に制限し、権限の範囲を可能な限り狭いレベルに限定するとともに、影響の大きい操作や特権的な操作には操作実行時の認証情報を要求する

(4) 小括

　これら国内外のガイダンスに共通するのは、エージェント型AIの自律性を前提に、人間による監督と権限の制御をあらかじめ組み込むという考え方であると思われます。もっとも、制御の仕組みの多くは第一次的にはエージェント型AIの開発者・提供者が講じるべきものであると考えられ、利用企業が単独で講じ得る対応には限界があると考えられます。そのため、利用企業としては、①サービスの調達・選定の段階で、提供事業者におけるこれらの制御の仕組みの実施状況を可能な範囲で確認するとともに、損害発生時の責任（責任上限・免責事由の範囲等）に係る契約条件を確認すること、②サービスの仕様上可能な場合には、重要な動作の実行前に人間の承認を介在させる設定を採用すること、③低リスクの用途から段階的に導入を進めること、及び、④社内で利用されるエージェント型AIを把握し、管理の及ばない形で社内データへの自律的なアクセスが生じないようにすることといった対応が、現実的な対応の出発点になるものと考えられます。