エージェント型人工知能(AI)は、組織の運営方法を変革することが期待されています。文書の要約やコンテンツ生成を目的とした従来のAIツールとは異なり、これらのシステムは自律的に行動し、タスクを実行し、エンタープライズシステムと相互作用することができます。技術リスクを監督する取締役会にとって、この変化は根本的に異なるカテゴリーのセキュリティー上の懸念をもたらします。情報システムセキュリティ協会(ISSA)インターナショナルの副会長であり、米国空軍予備役の攻撃的サイバー将校であるLaura I. Harderは、多くのリーダーがこれらのリスクがどれほど迅速に現実化するかを過小評価していると考えています。「組織に対するリスクは、実際にはあまりにも多くのエージェンシーを持つことに帰結します」とHarderは述べています。「エージェントは権限を変更し、機能を変更し、おそらく予期していなかったアクションを作成することができます。」組織がAIの実験から自律エージェントの運用化に移行するにつれて、取締役会は、人間の介入なしに意思決定を行い、行動を起こすことができるシステムを管理できるガバナンス構造、ガードレール、監視メカニズムを確立するために、同じくらい迅速に動く必要があります。
エージェント型AIがセキュリティー方程式を変える
過去数年間、ほとんどの企業のAI展開は、情報を分析したり出力を生成したりするツールを中心としていました。これらの機能はプライバシーとデータの整合性に関する懸念をもたらしましたが、システム自体がエンタープライズ環境内でアクションを実行することはほとんどありませんでした。エージェント型AIはこのダイナミクスを変えます。単に推奨事項を提供したり、履歴書をフィルタリングしたりするのではなく、エージェントはワークフローをトリガーし、データベースにアクセスし、組織全体のソフトウェアシステムと相互作用することができます。「今では単にアドバイスを提供するだけではありません。行動を起こし、自律的に行動します」とHarderは述べています。
この自律性は、システムが操作される可能性があるため、新たなセキュリティー上の課題を生み出します。人間がソーシャルエンジニアリングに引っかかることができるのと同様に、AIエージェントはプロンプトインジェクションなどの技術を通じて意図しないタスクを実行するように騙されることがあります。Harderは、入力に埋め込まれた隠された指示がAIの動作を変える実例を指摘しています。「AIは与えられた指示に基づいて動作します」と彼女は言います。これらの脅威は、多くのAIモデルの不透明な性質によって複雑化しています。組織は、意思決定がどのように行われるかについて完全な可視性を持たずに、サードパーティのツールに依存することがよくあります。その結果、予測が難しい方法で動作しながらアクションを実行できるシステムになります。
取締役会がしばしば見落とす隠れたリスク
取締役会がエージェント型AIの評価を始めるとき、Harderは最も過小評価されている脆弱性は権限であると述べています。すべてのAIエージェントは、システム、データソース、アプリケーションのネットワーク内で動作します。これらのシステムに付与されるアクセスレベルは、何かがうまくいかない場合の潜在的な損害を決定します。Harderはこれをシステムの「爆発半径」と表現しています。広範な権限が与えられたエージェントは、リーダーが認識しているよりもはるかに多くのデータとインフラストラクチャと相互作用できる可能性があります。
一般的な例は、AIシステムが内部コラボレーションツールや文書リポジトリに接続されている場合に発生します。広く共有されているフォルダに機密情報が含まれている場合、その環境で動作しているエージェントは、実行するユーザー、サービスアカウント、または統合に付与された権限内でそのデータにアクセスして使用することができます。実際には、これは、エージェントが広くアクセス可能であったかもしれないが積極的に監視されていなかった情報を表面化したり、それに基づいて行動したりできることを意味します。
サードパーティのAIサービスは、追加のリスク層を導入します。「モデルを使用している場合、そのモデルはどの情報にアクセスでき、あなたの情報はそのモデルのトレーニングに使用される可能性がありますか?」とHarderは問いかけます。明確な管理がなければ、独自の情報、知的財産、または機密の顧客データが、AIとのやり取りを通じて意図せずに組織から流出する可能性があります。
AIに追いつくことができるガバナンスの構築
AIガバナンスは、技術のアドオンではなく、構造化されたプログラムとして扱われなければなりません。組織は、既存のプライバシーまたはリスクガバナンス委員会をモデルにした専用のAIガバナンス委員会を設立することから始めるべきです。そのグループは、NIST AIリスク管理の自動化フレームワークやISO 42001などの国際標準などの確立されたフレームワークを採用する必要があります。「AIガバナンスとAI保護を持つことは、単に購入できる製品ではありません」と彼女は言います。
これらのフレームワークは、ポリシー、リスク評価、および運用管理に関するガイダンスを提供します。しかし、それらは依然として、組織がAIが環境内でどのように機能するか、およびアクセスが許可されるデータを定義する必要があります。「ポリシー、手順、およびインベントリが必要です」とHarderは述べています。「これらの要素は、チームが作業できるインフラストラクチャを構築するのに役立ちます。」新たな実践の1つは、組織内で使用されるすべてのAIツール、接続するシステム、およびアクセスできるデータをインベントリ化する「AI部品表」の作成です。その可視性がなければ、組織はエンタープライズインフラストラクチャと相互作用する自律システムによって作成される露出を完全に理解することはできません。
AIが暴走するのを防ぐガードレール
ガバナンス構造が整っていても、エージェントシステムには動作を制限する技術的セーフガードが必要です。最も効果的な戦略は、最初からセキュリティー管理を設計することです。システムは、最初は、テストデータ(本番データではない)と制限された権限を使用して、閉鎖された管理されたサンドボックス環境内で開発されるべきです。「エージェントシステムを構築する際には、サンドボックスで行う必要があります」と彼女は言います。「これは、合成システムが低リスクで権限なしで動作できる管理された環境です。」
テストには、セキュリティーの専門家がシステムを破壊したり、その動作を操作したりしようとするレッドチームも含める必要があります。これらの演習は、システムが本番環境に展開される前に脆弱性を露呈します。「ループに人間がいることで、AIツールがおそらく望んでいなかった決定を下すことを決定した場合、何らかの制限があることを保証します」とHarderは述べています。隔離技術もリスクを制限することができます。一部のアーキテクチャでは、エージェントは、ポリシーが実行できるコマンドとアクセスできるシステムを制限する仮想マシン内に含まれています。
取締役会の監視が最終的に重要
取締役会にとって、エージェント型AIの台頭はガバナンスと説明責任の課題であり、Harderは組織がそのAIシステムが取る行動に対して責任を負い続けることを強調しています。「『これができるとは知りませんでした』と戻って言うことはできません」と彼女は言います。「デューデリジェンスを行う必要があります。」その責任は、法的および受託者の両方の影響を伴います。取締役会は、自律技術が明確な監視、制約された権限、および継続的な監視とともに実装されることを保証する必要があります。「制約された権限、人間のチェックポイント、および監視を証明できるまで、エージェントを特権ツールに接続しないでください」とHarderは述べています。エージェント型AIが実験からコア業務に移行し続けるにつれて、成功する組織は、ガバナンスとセキュリティーを後付けではなく基本的な要件として扱う組織です。
より多くの洞察については、LinkedInでLaura I. Harderをフォローしてください。
