生成AIのリスクと対策｜障害・料金・規制まで見るAIハザードマップ

AIエージェントに受注や見積りを任せるようになると、便利さの裏でひとつの不安が残ります。

「もしAIが使えなくなったら、業務は止まってしまうのか？」という不安です。

この記事では、生成AIのリスクを、情報漏洩や誤った出力といった身近なものから、サービス障害・料金改定・規制まで一枚の地図にまとめます。

起こる可能性・影響の大きさ・復旧に必要な時間の三つのものさしで並べ、それぞれの対策を示します。

めったに起きない壊滅的なシナリオまで載せたのは、最悪の状態を先に想定しておくと、もしものときも落ち着いて構えていられるからです。

先に答えをお伝えすると、中小企業がまず備えておきたいのは次の三つです。

1. 機密や個人情報をAIに入れないルール
2. 外に出る出力を人が確かめる手順
3. AIが止まったときに人の手順へ戻る道

生成AIの主なリスクと対策の一覧

生成AIのリスクは、情報を入れるとき、出力を使うとき、サービスに頼っているときの三つの場面で起きます。下の表は、業務で出会うことの多いリスクと、まず打つ手をまとめたものです。

リスク	起きること	まず打つ手	地図の番号
情報漏洩・個人情報	入力した機密や個人データが社外に出る	入れてよい情報を決め、学習に使われない契約のツールに限る	17
誤った出力	もっともらしい誤りが顧客や取引先に届く	外に出る出力は人が確かめてから送る	4
著作権・他人の権利	生成物が既存の作品に似て権利を侵す	社外に出す生成物は似た作品がないか確かめる	―
AIを狙う攻撃	紛れ込んだ指示でAIが乗っ取られる	権限を絞り、送信や発注の前に人が承認する	16
障害・停電・通信の途絶	AIが応答せず業務が止まる	人の手順へ戻る道と、切り替え先を用意する	9・10・12
料金・仕様・規約の変更	単価や使える範囲が変わる	上限を設定し、判断の手順をモデルの外に置く	1・2・3・7
規制・国際情勢	海外のモデルが使えなくなる	別のモデルへ載せ替えられる設計にする	20・23〜26

表の右端の番号は、次の章のハザードマップの番号です。情報漏洩と誤った出力は毎日の使い方で起きるため、最初に手を打つことをおすすめします。

AIハザードマップで危険度を見る

防災のハザードマップは、危険な場所とそこからの避難先を一枚にまとめた地図です。AIハザードマップも考え方は同じで、AIエージェントの運用で起こりうる事態を次の三つのものさしで評価します。

• 起こる可能性（1〜10）
• 影響の大きさ（1〜10）
• 復旧に必要な時間（1〜10）

点数は統計にもとづくものではなく、当社の判断による目安です。業種や使い方によって変わるため、自社に当てはめて読み替えてください。

起こりうる事態は、性質ごとに次の四つのまとまりに分けています。攻撃の手口は、地図とは別に一覧にしました。

• 日常の運用リスク：あらかじめ予見できる変化
• 緊急事態：予告なく業務が止まるもの
• 国と国の力学：覇権争いが生む業務のリスク
• 壊滅的なシナリオ：起きにくいが影響が甚大なもの

大事なのは、起こる可能性が低くても影響が大きい事態を見落とさないことです。地図の右上にあるものほど、優先して備える事態です。

日常の運用で起きるリスク

まずは、緊急事態というほどではない、あらかじめ予見できるリスクです。モデルの仕様変更のように、事前に構えておけるものを集めました。

シナリオ	何が起きるか	起こる可能性	影響の大きさ	復旧に必要な時間	対処法
モデルの仕様変更・旧モデル廃止	出力の形や精度が予告のうえ変わる	9	5	4	判断の手順をモデルから切り離して保管する。差し替えても業務は動く
API料金の段階的な値上げ	単価がじわじわ上がる	8	5	2	複数の提供元を比べ、切り替えられる構成にしておく
従量課金の急騰	想定外の大量処理で請求が膨らむ	6	5	2	処理件数を見える化して上限を設定する。異常な増加はその場で気づく
出力品質のばらつき	日によって回答の質が揺れる	6	5	3	外部に出る出力は人が承認する。検査役が過去の実績との差を知らせる
レート制限・同時実行の上限	混雑時に処理が待たされる	6	3	1	処理を分散し、急ぎの案件を優先する順番を組む
安全フィルタの強化	正当な業務まで応答を断られる	5	5	2	業務に合う提供元を選ぶ。断られた処理は人の手順へ回す
契約・利用規約の変更	使える範囲や条件が変わる	6	5	3	契約は顧客の名義にする。条件を定期的に確かめ、乗り換え先を持つ
LLMプロバイダーのプラン改定	使っていた機能が有料化・廃止される	6	4	2	機能を一社に頼らず、代わりの手立てを用意する

この中でいちばん頻度が高いのは、モデルの仕様変更です。ここからは、備え方を知っておきたい三つを取り上げます。

モデルの廃止と仕様の変更

提供元は、古いモデルを予告したうえで廃止していきます。たとえばAnthropicは、公開したモデルの提供を終える前に、利用中の顧客へ少なくとも60日前に知らせると公式のドキュメントで定めています。

このとき、判断の手順がモデルに固く結びついていると、廃止のたびに作り直しが必要になります。判断の手順をモデルの外に文章で残しておけば、モデルを差し替えても業務は動きます。

廃止の予告は、提供元のお知らせやメールで届きます。受け取る担当者を一人決めておくと、気づかないまま期限を迎えることを防げます。

料金の改定と従量課金の急騰

AIのAPIは、使った量に応じて払う従量課金が中心です。単価は新しいモデルほど安いとは限らず、後継のモデルで単価が上がることもあります。

たとえばAnthropicの小型モデルでは、入力100万トークンあたりの単価が、Haiku 3.5の0.8ドルに対して後継のHaiku 4.5は1ドルです（2026年9月時点の公式の料金表）。

もっと困るのは、想定外の大量処理で請求が膨らむことです。処理件数を見える化して上限を設定しておけば、異常な増加にその場で気づけます。

料金表の読み方と上限の設定は、業務用途のLLM使用料金で詳しく説明しています。

誤った出力と品質のばらつき

生成AIは、事実と違う内容をもっともらしく返すことがあります（ハルシネーション）。同じ指示でも、日によって回答の質が揺れることもあります。

カナダでは2024年2月、航空会社のWebサイトのチャットボットが運賃の払い戻しについて誤った案内をし、会社が差額などの支払いを命じられました（米国法曹協会の解説）。

AIが答えた内容でも、責任を負うのは使っている会社だという判断です。

そのため、見積りや顧客への返信など外に出る出力は、人が確かめてから送ります。当社は、過去の実績から大きく外れた出力を知らせる検査役を置き、最後は人が承認する形にしています。

情報漏洩と法律のリスク

情報漏洩と法律の問題は、社員が毎日AIを使う場面で起きるリスクです。入力した情報がどこへ行くのか、出力をそのまま使ってよいのかを分けて考えます。

機密情報と個人情報の入力

社員がプロンプトに機密を貼りつけると、その内容は外部の提供元に送られます。サービスや契約によっては、入力した内容がモデルの学習に使われることもあります。

個人情報保護委員会は2023年6月、生成AIサービスの利用に関する注意喚起を出しています。事業者向けの要点は次の二つです。

• 個人情報を入れるのは、利用目的の達成に必要な範囲に限る
• 本人の同意なく個人データを入れるなら、提供元が学習に使わないことを確かめる

本人の同意を得ずに個人データを入力し、提供元がそれを学習に使うと、個人情報保護法に違反するおそれがあります。

業務の仕組みにAIを組み込むときは、生のデータをそのままAPIに流さず、氏名などを消す前処理をしてから渡すのが基本です。どのデータをどこまで渡してよいかは、次の記事で整理しています。

著作権と他人の権利

文化庁は2024年3月、AIと著作権に関する考え方をまとめました。AIで作った文章や画像でも、既存の作品に似ていて（類似性）、それをもとに作ったと言える（依拠性）場合は、著作権の侵害になりうるという整理です。

注意が要るのは、Webサイトや販促物、製品の図案など、生成物を社外に出すときです。次のような確認を手順に入れておくと安心です。

• 特定の作家名や作品名を指示に入れない
• 公開する前に、似た作品がないか画像検索などで確かめる
• 生成物を使った箇所と、使ったツールを記録しておく

同じページでは、2024年7月に公表された「AIと著作権に関するチェックリスト＆ガイダンス」も読めます。

社内ルールで決めておくこと

情報漏洩と権利の問題は、ツールの設定だけでは防げません。何を入れてよいか、誰が確かめるかを社内ルールで決めておくことが、対策の土台になります。

入れてよい情報は、ツールではなく情報の種類で決めると迷いません。次の表は記入例です。

情報の種類	AIに入れてよいか	条件
公開済みのカタログ・Webの文章	よい	なし
社内の手順書・議事録	条件つき	会社が契約したツールに限る
取引先から預かった図面・見積り	原則入れない	契約で認められた場合のみ
顧客・従業員の個人情報	原則入れない	氏名などを消してから

総務省と経済産業省のAI事業者ガイドラインは、2026年3月に第1.2版へ更新されました。AIを使う事業者が気をつけることの参考になります。

ルールの項目とひな形は生成AI利用ガイドラインの作り方にまとめています。社員がすでに個人で使っている場合は、シャドーAIを禁止せず統制する方法もあわせてご覧ください。

突然業務が止まる緊急事態

ここからは、突発的に起きる緊急のシナリオです。予告なく業務が止まる種類のもので、外からの攻撃や、電力・通信の喪失までを含みます。

シナリオ	何が起きるか	起こる可能性	影響の大きさ	復旧に必要な時間	対処法
AIサービスの突発的な障害	提供元がダウンし応答が返らない	6	8	2	手動運用への戻り道を標準で備える。止まっても人が業務を続けられる
電力の消失	停電でAPIにも社内にもつながらない	5	8	3	案件データは手元に残す。復旧後に続きから再開できる
データセンターの水不足で停止	冷却できず提供元が稼働を止める	3	7	4	別地域・別提供元へ切り替える。止まっても手動運用へ戻る
通信の途絶	回線や海底ケーブルの断でつながらない	4	8	3	オフラインでも参照できる形でデータを持つ。復旧後に同期する
物理攻撃によるデータセンターの破壊	拠点が使えなくなり提供が止まる	2	10	8	提供元と拠点を分散する。別地域へ切り替え、手動運用へ戻る
サイバー攻撃によるデータセンターの無効化	攻撃で提供基盤が機能停止する	3	9	6	一社に依存しない。切り替え手順とバックアップで被害を限定する
ランサムウェアで社内が人質	社内システムが暗号化され動かない	4	9	7	データは分離して保管し、復元できる形で残す。手動運用へ戻る
APIの乗っ取り・応答の改ざん	通信を乗っ取られ有害な指示が返り事故につながる	3	10	6	外部に出る出力の手前に独立した検査役を置き、人が承認する
情報漏洩・機密の流出	プロンプト経由で社外に出る	4	9	8	生のデータはAPIに流さず前処理で消す。分離して保管する
アカウントの突然の停止	提供元の都合で利用を止められる	3	8	4	別の提供元へ切り替える手順を用意しておく
LLMプロバイダーの買収・撤退	買収や撤退で条件や提供が一変する	5	7	5	モデルに依存しない設計にし、別の提供元へ移せる状態を保つ
日本でのAIエージェント使用禁止命令	法令で利用そのものが止められる	2	10	7	AI抜きの業務の流れへ戻せる設計にする
特定業種を対象にした使用禁止	自社の業種だけ規制の対象になる	3	8	6	業務を人でも回せる形に保ち、規制の範囲だけ手動へ切り替える
提供元の一時停止・作業の拒否	提供元が安全や法規制を理由に一時停止する、またはモデルが特定の作業を拒む	3	6	3	承認を標準で必要とし、最終判断は人が行う。止まっても手動運用へ切り替える

社内のシステムが暗号化される被害への備えは、ランサムウェア対策の基本で説明しています。以下では、影響の大きい障害と乗っ取りを取り上げます。

AIサービスの障害と停電

この中で影響がいちばん大きいのは、サービスの停止と電力の消失です。どちらもAIが応答を返せなくなり、AIに任せていた業務がその場で止まります。

大手の提供元でも障害は起きます。OpenAIでは2024年12月11日、ChatGPTとAPIが約4時間20分にわたって使えない、または使いにくい状態になりました。

2025年11月18日には、多くのWebサービスが使う通信の基盤（Cloudflare）で約6時間の障害が起きています。Cloudflareの報告では、原因は攻撃ではなく、内部の設定の誤りでした。

ここで効くのが「手動運用への戻り道」です。当社は、AIが止まっても人が同じ画面で同じ業務を続けられるようにしています。

切り替え先のAIを用意する方法はLLMゲートウェイの比較で、止まって困る業務の切り分け方は次の記事で説明しています。

APIの乗っ取りと応答の改ざん

見落とされがちなのが、APIの乗っ取りです。攻撃者に応答を書き換えられると、AIが有害な指示を返すおそれがあります。

誤った発注や危険な加工指示は、そのまま事故につながりかねません。当社は、外部に送信する出力の手前に本体から独立した検査役を置き、過去の実績から外れた内容を知らせたうえで、最後は必ず人が承認する仕組みにしています。

AIエージェントを狙う攻撃の手口

AIエージェントは、外の情報を読み込み、外へと出力します。そのぶん攻撃の入口が従来のシステムより広くなります。

IPAの情報セキュリティ10大脅威 2026では、組織編で「AIの利用をめぐるサイバーリスク」が初めて選ばれ、3位に入りました。

セキュリティの団体OWASPのLLMアプリケーションの10大リスク（2025年版）にも、次の手口の多くが並んでいます。

手口	何が起きるか
プロンプトインジェクション	メールやFAX、Webページに紛れた指示でAIが乗っ取られる
間接プロンプトインジェクション	AIが読み込む外部のデータ経由で乗っ取られ、信頼していた資料そのものが罠になる
ジェイルブレイク	安全装置を回避させ、本来は拒否するはずの出力を引き出す
サプライチェーン汚染	使っているモデルやライブラリ、連携ツールに悪意のある内容が混ざる
データポイズニング	学習や検索の元データに悪意のあるデータを仕込み、誤った回答へ誘導する
過剰な権限の悪用	エージェントが持つ発注や送信の権限を乗っ取り、勝手に処理を実行させる
認証情報・APIキーの流出	鍵が漏れ、なりすましで業務を操作される
連携ツール経由の攻撃	AIが呼び出す外部のツールが攻撃の入口になる
マルチエージェントの誤り増幅	AI同士が連鎖する構成で、ひとつの誤りが全体へ広がる
機密の持ち出し	社員がプロンプトに機密を貼りつけ、外部のモデルへ流してしまう

これらに共通する守りは、次の二つです。

1. 人の承認：外部に送信する出力や発注は、必ず人が承認する
2. 独立した検査役：本体とは別の仕組みが、出力の内容を検査する

AIにすべてを任せず、要所で人が決裁する形が、乗っ取りや暴走の被害を最後の関所で食い止めます。エージェントに渡す権限の絞り方は、AIエージェントに社内システムの権限を渡すときの設計で説明しています。

国と国の力学が業務リスクになる

AIはいまや、国の力を左右する戦略技術です。各国は半導体と計算資源を安全保障の対象として扱っており、最先端のAIは国と国の力学の中にあります。

この流れを、業務のリスクとして地図に落とすと次のようになります。

シナリオ	何が起きるか	起こる可能性	影響の大きさ	復旧に必要な時間	対処法
LLM技術をアメリカが独占	最先端のモデルが国家の管理下に入る	6	8	6	一社・一国に依存しない。複数のモデルに対応できる設計を保つ
対日輸出規制・提供制限	海外の高性能なモデルが使えなくなる	4	8	6	判断の手順をモデルから分け、別のモデルへ載せ替えられる状態にする
高性能モデルの海外提供停止	性能の高いモデルが日本で止まる	3	8	5	海外と国産のモデルの両方に対応し、切り替え手順を用意する
国産LLMへの移行を迫られ品質が落ちる	海外のモデルを使えず、性能の劣る国産へ移る	5	6	4	モデルに依存しない形で移行し、品質の差は人の承認で埋める

米国と日本の、それぞれの動きを見ておきます。

米国の半導体の輸出規制

米国では2025年1月、前の政権が高性能なAI半導体の輸出先を国ごとに分けて管理する規則を出しました。しかし2025年5月には、商務省がこの規則を撤回する方針を示しています（ジェトロの報道）。

2026年3月には新しい規則の案がまとまったと報じられましたが、公表から約2週間で撤回されました。方針が短い期間で大きく揺れること自体が、海外のAIに頼る会社にとってのリスクです。

日本の法律と国産AIの動き

日本では2025年9月、AI法（人工知能関連技術の研究開発及び活用の推進に関する法律）が全面施行されました。

AIの研究開発と活用を進めるための法律で、事業者には活用に努めることと国の施策への協力が求められ、罰則の規定はありません。

地図で「日本でのAIエージェント使用禁止命令」の可能性を低く見ているのは、このためです。政府は2025年12月に人工知能基本計画を閣議決定し、2026年7月に改定しています。

国産のAIには、大きな予算が投じられています。政府は国産AIの開発を5年で1兆円規模で支援する方針と報じられ、経済産業省は2026年6月、ロボットなどを見据えた国産の基盤モデルの開発事業を始めると発表しました。

デジタル庁は2026年3月、政府職員向けのAI基盤「源内」で試す国産のLLMを7件選び、2026年8月頃から試用を始めています。

とくに考えておきたいのが、国産LLMへの移行を迫られる場合です。米国が最先端のLLMを国家の管理下に置けば、海外のモデルが日本で使えなくなり、企業は国産のLLMへ移らざるを得なくなります。

問題は、国産のモデルの性能が海外のモデルに届かない場合です。当社は判断の手順をモデルの外に文章で保管しているため、海外のモデルから国産のモデルへ移しても業務の中身は変わりません。

起きにくいが影響が甚大なシナリオ

ここからは、めったに起きない危機的なシナリオです。起きる可能性は限りなく低いものの、起きたときには業務に壊滅的なダメージを与えます。

「最悪」を先に想像しておけば、現実のリスクへの備えも固くなるため、ここではあえて一覧にしています。

シナリオ	何が起きるか	起こる可能性	影響の大きさ	復旧に必要な時間	対処法
大規模な太陽フレア	通信網が世界規模で途絶する	1	10	7	手動運用への戻り道。紙とデータの二重で案件を追える状態を保つ
量子計算機が暗号を破る	APIキーや通信が解読される	2	10	9	認証情報は顧客の名義で管理する。鍵の更新と分離保管で被害を限定する
衛星の破壊でGPS・通信が途絶	位置情報や回線が使えなくなる	1	9	7	オフラインでも回る手順を残す。復旧後にデータを同期する
AGIが人間の制御を離れて暴走する	超知能が承認を欺き、想定外の判断で動く	1	10	10	決めた範囲しか動けない設計と緊急停止で、暴走の前に止める
フィジカルAIの暴走で物理的な事故	体を持つAIが誤作動し、機械が人を傷つける	2	10	8	物理的な緊急停止と人の承認。危険な動作は範囲外として封じる

もっとも、その多くに特別な対策は要りません。現実的なリスクへの備えが、そのまま効くからです。

量子計算機への備えとしては、米国の国立標準技術研究所（NIST）が2024年8月に量子計算機でも破られにくい暗号の標準を公表しています。

利用する側は、提供元が新しい暗号へ移るのを待ちながら、鍵の更新と分離保管で被害を限定します。

緊急時の備えとしてのローカルLLM

ここまでのリスクの多くは、クラウド上にある外部のサービスが使えなくなることから起きます。だからこそ、手元で動くローカルLLMを確保しておくと、いざというときの強い保険になります。

クラウドが止まっても、通信が弱っても、社内のマシンだけで最低限の処理を続けられるからです。ただし、ローカルLLMには技術と費用の壁があります。

ローカルLLMの壁

まず壁になるのが、GPUのメモリ（VRAM）です。賢く動く大きなモデルほど、多くのVRAMを必要とします。

小型のオープンモデルであれば、高性能なGPUを積んだワークステーション一台でも動きます。一方、クラウドの最先端モデルに近い規模を動かそうとすると、複数のGPUを備えた高価なサーバーが要ります。

加えて、モデルの更新や運用の手間も社内で抱えることになります。品質の差も残り、小型のモデルは決まった作業ならこなせますが、複雑な判断や長い文脈ではクラウドの最先端モデルにまだ届きません。

非常時だけ使う縮退運転

費用の面で実現できるかは、目的の切り分けで決まります。ローカルLLMでクラウドを丸ごと置き換えようとすると、機械への投資が重くなります。

一方、平時はクラウドを使い、非常時だけ社内の小型モデルで最低限の業務を回す「縮退運転」と割り切れば、高性能なGPUを積んだワークステーション一台からでも始められます。

当社の設計は、この備えと相性の良いつくりです。判断の手順をモデルの外に保管しているため、平時のクラウドのモデルと、非常時のローカルのモデルを載せ替えられます。

ローカル側は完全な代わりではなく、受注や見積りの最低限を止めないための「最後の一手」です。品質の差が出る部分は、人が確認して補います。

まとめ

この記事では、生成AIとAIエージェントを業務に使ったときに起こりうる事態を、一枚の地図にまとめました。

情報漏洩や著作権から、料金や仕様の変更、障害や攻撃、国と国の力学、太陽フレアやAGIの暴走まで、可能性と影響の二つの軸で並べています。

地図が教えてくれるのは、いちばん恐ろしく見える事態ほどめったに起きず、実際に繰り返し悩まされるのは日常の運用リスクだということです。備える順番を間違えないための地図だと考えてください。

当社は「止められる・見える・戻れる」を土台に、中小企業が安心して任せられる業務AIを設計しています。導入をご検討の際は、どうぞ当社までご相談ください。

▶ 無料のオンライン面談を予約する