はじめに
全社的なAI活用（AX）を進める際、情報システム部門には「セキュリティ面は大丈夫か」という確認が経営層や各部門から寄せられます。しかし、AIに関するセキュリティと一口に言っても、利用ルールの整備からシステムの技術的な検証まで範囲が広く、何から手を付けるべきか判断しづらい分野です。
そこで、AI活用に伴うセキュリティの検討事項を4つのカテゴリに分けて紹介します。個別のトピックの詳細には踏み込まず、まず全体像をつかむための記事です。
その1：方針を定めルールを整備
最初に必要になるのは、組織としてAIをどう使うかの方針決めです。生成AI利用ガイドラインを策定し、利用してよいサービスの範囲や、AIの出力を確認するプロセスを定めます。
あわせて、利用を認めるAIサービスの選定基準と承認プロセスを整えます。AIの利用可否を誰が判断し、誰が承認するのかも明確にします。
参考になる公的資料として、経済産業省・総務省の「AI事業者ガイドライン」や、AIマネジメントシステムの国際規格であるISO/IEC 42001があります。すべてに準拠する必要はなく、自社の利用形態に関係する部分を参照する形で十分です。
その2：ルールを実態に近づける
ルールを作っても、実際の利用状況が把握できていなければ機能しません。まず、従業員がどのAIサービスを使っているかを把握し、会社の管理外で使われる「シャドーAI」の実態を確認します。
会社が認めたAIサービスを用意することも必要です。安全な選択肢があれば、従業員が無断で別のサービスを使う動機を減らせます。
利用状況を技術的に把握する仕組みも検討します。必要に応じて、プロキシや、クラウドサービスの利用状況を可視化して制御するCASBなどを利用します。
禁止一辺倒でも放任でもなく、使ってよい環境を整備することが結果的に統制につながります。
その3：AIを組み込むシステムの検証
社内データと連携したチャットボット、顧客向けのAI機能、指示に応じて複数の処理を自律的に実行するAIエージェントなど、AIを自社のシステムに組み込む段階では、状況により技術的な検証を行うことをおすすめします。
検証では、認証や認可、アクセス制御など、従来のWebアプリケーションと共通する観点を確認します。それに加えて、プロンプトインジェクションへの耐性、意図しない情報の出力、外部ツールと連携する際の権限設計など、AI特有の観点も確認します。
プロンプトインジェクションとは、入力文に紛れ込ませた指示によってAIに開発者の意図しない動作をさせる攻撃手法で、AIを組み込んだシステムに特有の代表的なリスクです。こうしたリスクの分類には、Webセキュリティ分野の国際的なコミュニティであるOWASPが公開する「OWASP Top 10 for LLM Applications」が広く参照されています。この文書は、大規模言語モデルを利用したアプリケーションの主要なリスクをまとめたものです。自社でAIを組み込んだシステムを開発・導入する場合は、リリース前にこうした観点での診断を検討する価値があります。診断の具体的な内容は、別記事「LLMアプリケーション診断とは」で解説しています。
その4：教育とインシデント対応
最後に、運用を支える従業員への教育が必要です。AIの出力を鵜呑みにしないことや、会社が承認したサービスを利用することなど、基本的な注意点を周知します。
AI利用に起因するインシデントを想定し、対応手順も確認します。たとえば、従業員がパスワードやAPIキーなどの認証情報を誤って入力した場合に、どこへ報告し、最初に何をするのかを決めておきます。
報告経路を整備するのは、報告を起点とした初動対応を可能にするためです。たとえば認証情報の誤入力であれば、報告があれば該当のパスワードやAPIキーを速やかに変更でき、悪用される前に影響を打ち消せます。報告が上がらなければ、こうした対応は始められません。
既存のセキュリティ教育やインシデント対応体制に、AIに関する項目を追加する形で始めるのが無理のない進め方です。
進め方の目安
4つのカテゴリは並列ではなく「方針」「利用統制」「教育」を先に整え、AIをシステムに組み込む計画が具体化した段階で「技術検証」に取り組む、という順序が無理のない進め方です。
まとめ
AI活用に伴うセキュリティは、ガバナンス、利用統制、システムの検証、人と体制の4つに分けると見通しが立てやすくなります。DX推進時のセキュリティとの違いという観点からの整理は、別記事「AXのセキュリティはDXの時と何が違うのか」もご覧ください。すべてを一度に整備する必要はなく、自社のAI活用の段階に応じて優先順位を付けることが大切です。
各カテゴリの取り組みを支援するサービス
本記事で挙げた4つのカテゴリのうち、方針整備・利用統制・体制づくりについては、外部のセキュリティチームとして継続的に支援するセキュリティチーム代行サービスでお手伝いできます。AIを組み込んだシステムの検証（カテゴリ3）については、Webアプリケーション・スマホアプリ・LLMアプリケーションを対象とした脆弱性診断サービスをご利用いただけます。自社の状況でどちらが適しているか分からない場合も、まずは現状をお聞かせください。
セキュリティチーム代行サービス
社内にセキュリティ専門部門を持たない企業様を、外部チームとして継続的に支援します。AI利用ガイドラインの策定や利用統制、教育・インシデント対応体制の整備など、方針づくりから運用まで幅広くお手伝いします。
脆弱性診断サービス
AIを組み込んだシステムの検証には、LLMアプリケーションを対象とした脆弱性診断をご利用いただけます。リリース前にプロンプトインジェクションなどAI特有の観点を含めて確認したい場合にご活用ください。