スマートでも安全とは限らない：サンゴ礁水槽から学んだAI、自動化、サーキットブレーカーの教訓

Lori Mac Vittie特別技術者兼チーフエバンジェリスト | F5

AIと自動化の時代において、アプリケーションデリバリは単なる「あれば便利なもの」ではありません。自律システムが想定外の動作をした際に、ロードバランサー、APIゲートウェイ、サービスメッシュが最後の防衛線となるため、必要不可欠です。

今週初め、コントローラーが1台故障しました。

正確には、予備システムのApexコントローラーが故障しました。これは、換水時に新しい海水をメインシステムへ送る2台のポンプを含め、リーフタンクの設備の一部を制御する自動化の中枢です。

これらのポンプは、システムから応答がない場合の標準的な安全対策として、フォールバック値がONに設定されていました。そのため、コントローラーが故障するとポンプが作動し、そのまま動き続けました。制御されず、連携もなく、監視もされないまま。

その結果、メインタンクはあふれる寸前となり、ひどく慌てたLoriが必死に食い止める事態になりました。そして、制約のない自動化は賢明ではなく、リスクを伴うという教訓も残りました。

そして、この教訓は、現代のITアーキテクチャをどう構築するか、特にAIが主導権を握り始めるなかでどう構築するかに深く関わっています。

自動化の安全性は、障害時の動作で決まる

タンク内で起きたことは、バグやハードウェアの問題が原因ではありませんでした。ポンプは指示どおりに動作しました。問題は、コントローラーに障害が発生しても、ポンプが動き続けたことです。サーキットブレーカーも、外部ウォッチドッグも、適切なフォールバック戦略もありませんでした。

AI駆動型のITシステムでも、まさに同じことが起こり得ます。

AIが生成したポリシー更新が本番インフラに適用される状況を想像してみてください。あるいは、ひそかに障害が進行しているモデルに基づいてリアルタイムに下されるトラフィックステアリングの判断。さらには、コントローラーが明示的に「停止」を指示しなかったため、変更を適用し続けるデプロイパイプラインも考えられます。

そのような状況では、沈黙は承認を意味しません。危険を意味します。

サーキットブレーカーとしてのロードバランサーの役割

ほとんどのエンタープライズアーキテクチャでは、ロードバランサー、APIゲートウェイ、サービスメッシュをサーキットブレーカーとして利用しています。これらはシステムの健全性を監視し、レイテンシーを検出して再試行ロジックを適用するとともに、異常なシステムが他のすべてのシステムに障害を波及させる前に切り離します。

これは単なる運用上の基本対策ではありません。障害の影響を封じ込め、自律システムへの信頼を維持するための方法です。

コントロールプレーンが停止した場合、ロードバランサーが行うべきことは、すべてが正常だと 見なすのではなく、トラフィックを 停止することです。

「fail ON」が正解となる場合もある

もちろん、障害発生時にすべてのシステムを停止すべきとは限りません。私のリーフタンクでは、ディスプレイタンクの循環ポンプも自動化していますが、障害時にも稼働し続ける「fail ON」に意図的に設定しています。

水流が止まると酸素濃度が低下し、魚が死んでしまうからです。

ここで重要なのは、この微妙な違いです。DNS、アイデンティティ、基本的なテレメトリなど、何があっても稼働し続けなければならないシステムもあります。一方、ポリシー生成や段階的デプロイなどのプロセス自動化は、コントローラーが利用できなくなった場合に停止する必要があります。

ここで、AIエージェントが深刻なジレンマをもたらします。AIエージェントは、自らの誤りを常に認識できるとは限りません。だからこそ、それを取り巻くアーキテクチャが誤りを認識できなければなりません。

AIの導入拡大に伴い、境界設定の必要性も高まる

「2025 F5 State of Application Strategy Report」の結果は、現場ですでに多くの人が実感していることを裏付けています。AIは提案する段階から、行動する段階へと移行しつつあります。

• 回答者の77%が、ポリシーや構成を調整するための提案をAIに生成してほしいと回答しました。
• 45%は、SLOを達成するためにAIがそれらのポリシーをリアルタイムで自動的に調整することを望んでいます。
• 55%が、AIによるスクリプトの実行を通じた新しい構成とポリシーのデプロイ、または既存の構成とポリシーの調整を望んでいます。

ここから重要なことが分かります。自律型デジタルエージェントの時代が到来しつつあり、組織は導入をためらうどころか、加速させています。

しかし、人によるレビューなしに設定を記述または変更できるAIはどうでしょうか。それは、監視せずにポンプを動かし続けるようなものです。何かが浸水したり壊れたりするのは時間の問題です。

結論：停止すべきタイミングを判断できるシステムを構築する

AIは不可欠です。サーキットブレーカーも同様です。

より高度なインテリジェントエージェントを、トラフィックフロー、構成エンジン、ポリシー決定などのシステムに導入するにあたり、その基盤となるインフラストラクチャには、明確かつ自動的に機能する制限を設ける必要があります。

ロードバランサー。ゲートウェイ。ヘルスチェック。再試行ロジック。これらは単なるパターンではなく、安全な自律運用を支えるガードレールです。これが、Application Delivery Top 10の策定を推進した理由の1つです。デジタル資産の運用とセキュリティ確保におけるアプリケーションデリバリの重要性に光を当てることを目的としています。デジタルビジネスを制御する役割が手動運用から自動化へと移るにつれ、その重要性はますます高まるからです。

規律を欠いた自動化は、レジリエンスとは言えません。

それは単に、cronジョブで自動化された混乱にすぎません。

著者について

Lori Mac Vittie特別技術者兼チーフエバンジェリスト | F5

Lori MacVittieは、F5のOffice of the CTOに所属するDistinguished Engineer兼Chief Evangelistであり、アプリケーションデリバリ、自動化戦略、インフラストラクチャに関する深い専門知識を有しています。AIエージェントのガードレール策定、脆弱なマルチクラウドアーキテクチャの分析、スケーラブルなシステムの限界の検証など、複雑な事柄を明快にすることで知られています。アプリケーション開発、ITアーキテクチャ、ネットワークおよびシステム運用の分野で、30年以上にわたる業界経験を有しています。F5入社前は、受賞歴のあるテクノロジー編集者として活躍していました。 MacVittieはコンピューターサイエンスの修士号を取得しており、セキュリティ、クラウド、エンタープライズアーキテクチャにわたる分野で多数の著作を発表しています。また、テーブルトークゲームとビデオゲームをこよなく愛し、チーズについては遠慮なく強いこだわりを語ります。

Lori Mac Vittieのその他のブログ記事