説明可能性：AIのブラックボックスに光を当てる

F5 ADSP | 2025年9月03日

GenAIにより、回答が生成され、返される仕組みについて、現在では十分に理解できるようになりました。簡単に言えば、AIはTransformerアーキテクチャであり、次に続く単語や文として最適な予測を選択し、学習に使用した情報に基づいて最も可能性の高い回答を返します。

しかし、アプリケーションやプロセスがAIまたはAIエージェントを使用して、たとえば候補者の履歴書を選ぶといったタスクを実行する場合、組織がその判断を下した理由と、その判断に至った過程を知りたいと考えるのは当然です。最悪の場合、その過程に問題があれば、結果が役に立たなくなる可能性があるためです。

これは、AIについてよく耳にする「ブラックボックス」、つまり、与えられた基準に基づいてアプリケーションやエージェントがどのようにタスクを完了したのかが明確でない状態を指します。ニューラルネットワークの時代にまでさかのぼる生成AI以前の時期には、説明可能性は折れ線グラフで示され、情報のどの部分が意思決定に最も大きな影響を与えたかを表していました。

GenAI、特にエージェントとなると、状況ははるかに複雑になります。シンプルなエージェントは、基盤となるAIモデルである「頭脳」、実行するタスクである「目的」、そしてその目的を達成するために連携できる「ツール」で構成されます。

AIエージェントには、善悪を判断する道徳観も、生涯を通じて善悪を教わった経験もありません。また、自らの行動が現実世界にもたらす結果も理解していません。特に自律性を高めようとする場合、エージェントが望んだ方法で何かを実行するとは保証できません。

たとえば、ある組織がエージェントに対し、顧客リストからRandom Company LLCという会社名を削除するよう指示したとします。エージェントは「完了しました。Random Company LLCはデータベースに存在しません」と応答するかもしれません。しかし実際には、「R」で始まるすべての顧客名を削除することで、その指示を実行した可能性があります。技術的にはタスクを達成していても、その「方法」は深刻な結果を招きます。

エージェント・フィンガープリント：AIエージェントの説明可能性

エージェントがどのようにタスクを遂行したかを理解するには、事後的に、エージェントのあらゆる思考ややり取り、下した判断、実行したアクションを把握する必要があります。透明性や説明可能性を確保するには、エージェント型システムが提示した回答や結果を分解し、各部分がどのカテゴリーに該当するかを確認できなければなりません。

その情報が分かれば、エージェントが試みたことのうち、成功しなかったものと成功したものを把握できます。ただし、成功したからといって、それが正しいとは限りません。上記の例のように、エージェントが目的を達成していても、その方法に問題がある場合があります。

これを実現するため、CalypsoAIの「Inference Red-Team」製品で「Agentic Fingerprints」を開発しました。これにより、自律型エージェントが行うあらゆる意思決定、プロンプト、方針転換を包括的に可視化できます。

Agentic Fingerprintsでは、まずエージェントのすべての動作を記録します。エージェントがツールを使って何をしているかは容易に把握できますが、難しいのは、自己主導型の「思考の連鎖」モデルによる一連の反復を通じてエージェントが何を考え、最終的に正しいと判断する答えにどのようにたどり着くかを特定することです。

Agentic Fingerprintsは、こうした思考の連鎖をすべて解析し、エージェントのアクティビティを時系列で完全に記録します。そこからアクションへと分岐した箇所や、新たな問いへと分かれた箇所を確認できます。

これは、エージェントが結果に至るまでのすべての思考と判断を、上から下へノードが枝分かれしていくグラフとして、決定木形式で表したものです。エージェントがタスクを正常に完了するためにたどった経路が明確にわかります。それ以外は、定義上、成果につながらなかった経路、つまりエージェントが入り込んだ行き止まりであり、そこから知見を得ることができます。

AIエージェントの思考プロセスを示す決定木。ノードは意思決定を、分岐は最終的な結果に至るまでにたどったさまざまな経路を表し、AIの説明可能性を示しています。

Agentic Fingerprintsにより、組織は初めて説明可能性を確保し、Red-Teamエージェントが何をどのように行ったかを迅速かつ容易に把握できます。

結果分析：AIの説明可能性を向上

GenAIやエージェント型ワークフローを実際の場面に適用する場合、リクエストを実行しないという結果が出たときには、その理由を確認できる必要があります。これまで長い間、GenAIによる意思決定について確認できるのは、単に肯定か否定かという結果だけでした。

CalypsoAIも例外ではありませんでした。企業向けに、特定のシステム構成に基づいて悪意のあるトラフィックをブロックする、業界をリードする最高クラスのセキュリティスキャナーを提供していましたが、その結果は「イエス」か「ノー」のいずれかでした。

新しいテクノロジーの初期段階であれば、それでも問題ありません。しかし、実際の現場でAIの本番利用がますます進むなか、単に「コンピューターが『ノー』と判断しました」で済ませないことが重要です。お客さまにも、その先のお客さまにも、十分な説明が必要です。

法的な理由で「ノー」なのかもしれません。あるいは、ユーザーのサービスプランでは特定の項目にアクセスする権限がないため、「ノー」なのかもしれません。理由が何であれ、なぜそうなのかを理解できる必要があります。単に「ノー」だけでは不十分です。

CalypsoAIの「Inference Defend」製品では、「Outcome Analysis」により、エンタープライズAIシステムの一部として導入されたセキュリティスキャン制御によって、何かがなぜブロックされたのかを確認できるようになりました。提供されたコンテンツと、特定のルールをトリガーした具体的な箇所に基づき、わかりやすい分析結果を提示します。

AIシステムは中身が見えないブラックボックスですが、Outcome Analysisはその蓋を開き、内部を可視化します。これにより企業は、Inference Defendのスキャナーが特定のコンテンツやデータをブロックした理由、その時点の状況、ブロックに至った根拠を確信を持って把握できるようになります。

お客さまは自社の顧客にサービスを提供しており、その顧客から質問を受けることになります。そこで、そのような質問にお客さま自身で回答できる機能を提供しています。

企業での導入にAIの説明可能性が重要な理由

セキュリティを担う私たちの責任は、奇をてらうことではありません。セキュリティは、表舞台で曲芸を披露するのではなく、舞台裏で安全を支えるべきものです。そのため、CalypsoAIがリリースする機能は、表舞台に立つ曲芸師、つまり、注目を集めるAIの取り組みを進めるモデル開発者や組織を支援するために必要なものです。

透明性と説明可能性が表舞台で注目を集めることはありませんが、極めて重要であり、当然備わっているべきものとさえ言えます。CalypsoAIの説明可能性機能は、企業がAI、とりわけAIエージェントを安心して導入するために、本来備わっているべきものだと感じられます。

企業がエージェントの意思決定の経緯と理由を把握できれば、問題が発生した場合でも、十分な情報に基づいて迅速に是正措置を講じることができます。これは、エージェント型ワークフローに不可欠です。

CalypsoAIの透明性機能により、エージェントが実際に作業していること、その方法、判断の理由を示すことができます。これらを具体的に可視化することで、組織は仮想世界でマシンの速度で起きていることを初めて視覚的に把握できます。