AIガバナンスと管理に関する学習リソース

AIモデルのガバナンスでは、不正確な情報、ハルシネーション、バイアス、不適切なコンテンツ、データ漏えいなど、モデル出力に伴うリスクの低減に重点を置きます。AIエージェントのガバナンスでは、未承認のシステムコール、コストを増大させる制御不能なループ、権限昇格など、潜在的に有害なエージェントのアクションの管理を重視します。エージェントのガバナンスには、エージェントへの一意の非人間IDの割り当て、ランタイム制御の継続的な適用、重要な意思決定やアクションへの人間の関与が必要です。

EU AI法では、AIシステムのリスクを「許容できないリスク」「高リスク」「透明性に関するリスク」「最小限またはリスクなし」の4段階に分類しています。許容できないリスクを伴う特定のAI利用は禁止される一方、リスクが最小限またはない利用には、通常、同法に基づく追加規則は適用されません。米国国立標準技術研究所（NIST）のAIリスクマネジメントフレームワーク（RMF）は、「ガバナンス」「マッピング」「測定」「管理」の4つの機能で構成される任意のフレームワークです。EU AI法は、権利を保護し、イノベーションを支援しながら、安全で人間中心かつ信頼できるAIを確保することを目的としています。NIST AI RMFは、AIシステムの信頼性向上に、より焦点を絞っています。

エージェント型AIでは、説明責任と法的責任が重要な懸念事項です。組織は、ガバナンスプログラムの一環として、AIエージェントに関する説明責任の所在を明確にする必要があります。重大なエラーや金銭的損失が発生した場合、法的責任の所在は、適用される法的枠組み、契約上の取り決め、関係組織の役割によって決まります。状況に応じて、エージェントを導入する組織、プロバイダーや開発者、またはその他の当事者が責任を負う可能性があります。

エージェントに非人間アイデンティティ（NHI）を割り当てることで、きめ細かな最小権限のアクセスポリシーに基づいてエージェントのアクションを制限できるため、組織のセキュリティが強化されます。NHIを効果的に管理することで、エージェントの無秩序な増加を抑制できます。たとえば、検証済みのアイデンティティにのみシステムコールの実行を許可すれば、シャドーエージェントはシステムコールを実行できなくなるため、その数を減らせます。また、有効期間の短いアイデンティティトークンを使用することで、孤立したエージェントや非アクティブなエージェントに伴うセキュリティリスクを軽減できます。

AIエージェントスウォームは、複数のエージェントが自律的に連携し、コンテキストを共有したり外部ツールを呼び出したりして、複数ステップのタスクを完了する際に発生します。オープンソースのツールやフレームワークは、スウォームへの対応に役立ちます。たとえば、OpenTelemetry（OTel）フレームワークをJaegerやGrafana Tempoなどのツールと組み合わせることで、組織はAIエージェントスウォームを監視し、監査できます。OTelがエージェントのテレメトリデータを取得し、JaegerまたはTempoが監査を容易にする視覚的なマップを生成します。

エンタープライズAIガバナンス委員会の設置にあたっては、まず、エンジニアリング、サイバーセキュリティ、法務、財務、製品の各部門から部門横断的に上級リーダーを招集します。責任範囲を定めた後、チームはポリシーを策定し、場合によってはセンター・オブ・エクセレンス（CoE）を通じて、そのポリシーを企業全体の業務に適用します。技術およびリスク管理の実務担当者で構成されるCoEでは、AIシステムの検出、評価、分類に向けた標準プロセスの構築、ポリシーに準拠した開発プロセスの効率化、アイデンティティ制御の導入、トレーシングとテストの実装が可能です。