コンテキストに基づいて生成型AIアプリケーションを制御する

EYの最新AI Pulse Surveyによると、87%の経営幹部が、サイバーセキュリティやデータの問題からポリシーやガバナンスの欠如まで様々な導入の壁を挙げています。 生成AI（GenAI）をビジネスに取り入れるには、実現したいという意志とそれを実行する能力の両方が求められます。 そのギャップを埋めるのは運用の複雑さと新技術への信頼の必要性です。

企業は何十年にもわたりソフトウェアを開発・展開してきましたが、GenAIは新たな課題として「制御」をもたらします。 従来のソフトウェアと異なり、GenAIアプリケーションは自主性を持ち、結果が一律ではありません。 つまり、現時点ではGenAIアプリケーションが意図した動作だけを行い、意図しないことを絶対にしないとは保証できません。 制御の欠如が、本格的な利用拡大を妨げています。 制御の課題はコンテキストの力を理解することで明確になり、その理解が企業に従来のソフトウェア設計をGenAI対応に進化させる道筋を示します。

十分なコンテキストを持てば、GenAIアプリケーションの不確実性は制御可能です。コンテキストがGenAIアプリケーションの機能とビジネスの意図の間をつなげるからです。 コンテキストはGenAIアプリケーション、環境、ビジネスという3つの領域から取得できます。

環境はアプリケーションを取り巻くインフラストラクチャとサービスで構成されています。 1982年7月のコンピュータ業界セミナー「CreativeThink」で、アラン・ケイは「ソフトウェアに真剣に取り組む人は、自分でハードウェアを作るべきだ」と話しました。彼はハードとソフト間の密接な結びつきを強く信じていたからです。 その考えを拡張し、導入環境も含めたいと思います。

アプリケーションは孤立して存在しません。 さまざまなインフラストラクチャ サービスが連携して、アプリケーションの実行環境を提供しています。 これらのサービスはアプリケーションの外部にありながら、ハードウェアと同様にその正常な機能に不可欠です。 さらに踏み込んで言えば、こうしたインフラストラクチャ サービスは、多様な可観測性ソリューションを使って細かく監視し、時間をかけて豊富なテレメトリ データを収集・追跡しています。 このデータはアプリケーションの動作状況や、周囲の環境がどのように影響するかを示します。

環境コンテキストは受動的と能動的の2種類に分類できます。 ログ、メトリクス、トレース、イベントなどあらゆるテレメトリは、インフラやアプリケーションが稼働している間、継続的に発信され収集されるため受動的と見なせます。 アラート、通知、ダッシュボードは能動的です。 私たちはルールを使ってテレメトリを解析し、運用の状況を伝えます。 ルールの調整によって情報に運用上の意味を与え、環境全体のどこかで許容範囲に近づくまたは超過している状況を判断します。

GenAI アプリケーションは、自律コンポーネントの無数の振る舞いをカバーする信頼できるテレメトリがまだ整っていないため、ルールベースのアプローチでは対応が難しくなっています。 しかし、イノベーションが止まっているわけではありません。 現在、2つの方法が試されています。 ドメインベースの指標による GenAI の成果評価と、LLM を審査役とする方法です。 前者は代替手段で実際の真実を判断し、その後 GenAI の結果と比較して成功率と失敗率を把握します。 後者は、1つの LLM が別の LLM の精度を評価します。 環境コンテキストを活用して GenAI を真にコントロールできるか、この分岐する手法がどこまで進むかは、時間が示してくれるでしょう。