年を重ねるほど、この業界では実のところ何も変わらず、変わるのは用語だけなのだと実感します。以前は「サーバー」や「クラスター」と呼んでいましたが、今では「ノード」や「エージェント」と呼びます。障害の構図は同じです。違うのは、障害が発生したときのコストです。
フォールトトレランスとレジリエンスは、「クラウド」という言葉が使われる以前から、アプリケーションデリバリを陰で支えてきました。ノードに障害が発生したら、フェイルオーバーする。需要が急増したら、スケールアウトする。サービスが応答しなければ、迂回させる。こうした知見は今も変わらず有効ですが、AIの登場により、その重要性と緊急性は大幅に増し、無視した場合の代償もはるかに大きくなっています。
F5が「アプリケーションデリバリーにおける課題トップ10」のADC02」を紹介した際、数十年にわたって確立されてきた要点は明快でした。冗長性、負荷分散、自動化が重要であり、なかでも最も重要なのはグレースフルデグラデーションです。
これらの原則は、AIの世界にも当てはまるというだけではありません。AIアプリやエージェントシステムはこれまでにない形で障害を起こしますが、その原因と対策はアプリケーションデリバリーそのものと同じくらい以前から存在するため、まさに生き残るためのルールなのです。私ほど古くはありませんが、それに近づきつつあります。
パフォーマンス
従来型のインフラストラクチャでは、フォールトトレランスが欠如していると、負荷がかかった際に応答時間が長くなったり、コンポーネントが停止した際に完全なタイムアウトが発生したりしていました。AIでは、その影響がさらに大きくなります。モデルは緩やかに性能が低下するのではなく、ボトルネックに陥ります。GPUの障害、ノードの停止、データリンクの切断が、推論チェーン全体に連鎖的な影響を及ぼす可能性があります。
トレーニングと推論のパイプラインは特に脆弱です。1つのプリプロセッサーやデータローダーが正常に動作しないだけで、後続のすべてのプロセスにデータが供給されなくなる可能性があります。AIワークロードは設計上同期的に動作し、各レイヤーが直前のレイヤーの完了を待つため、レイテンシーは急速に累積します。パフォーマンスの低下は、単に応答が遅くなるだけではありません。システムの認知能力そのものが低下し、回答が途中で途切れたり、推論が不完全になったり、結果に一貫性がなくなったりします。これはすべて、1つのサービスにバックアップや再試行の経路がなかったことが原因です。
可用性
かつて高可用性とは、サーバーの冗長化と自動フェイルオーバーを意味していました。今では、モデルの冗長化と分散型推論フリートを意味します。単一のモデルエンドポイントは、もはやサービスではなく、リスク要因です。そのノードに障害が発生すると、依存するすべてのAPI呼び出しも、多くの場合は気付かれないまま失敗します。
AIサービスは、ベクトルストア、埋め込み生成器、推論エンジン、ルーター、オーケストレーションロジックなど、多層構造になる傾向があります。その一つひとつが、新たな潜在的障害点となります。冗長性やインテリジェントなトラフィックステアリングがなければ、1つのレイヤーの不具合でスタック全体が停止しかねません。また、「AIエージェント」が機能しなくなった依存先から自律的に復旧できなければ、世界で最も高価な単一障害点を構築したことになります。
信頼性
レジリエンスとは、単に稼働時間を確保することではなく、高負荷時にも一貫した動作を維持することです。AIでは、環境が万全でない場合でも、一貫した出力が求められます。データソースに遅延が生じたり、プロンプトの処理中に推論ノードが再起動したりしても、モデルは予測可能な応答を維持する必要があります。
適切なフォールトトレランスがなければ、ドリフトが生じ、システムのロジックが刻々と一貫性を失います。あるリクエストはタイムアウトし、別のリクエストは成功し、さらに別のリクエストはいつまでも応答しません。従来のシステムでは、これは厄介な問題にすぎません。しかし、AIシステム、特にエージェント型AIでは、混乱を招きます。エージェントは予測可能なフィードバックループに依存しているため、そのリズムが崩れると推論の連鎖も途切れます。
AIレジリエンスのベストプラクティス
幸いなことに、レジリエンスを実現するための基本設計は変わっていません。ただし、現在ははるかに変化が速く、相互依存性の高い環境で機能する必要があります。
1. すべての階層に冗長性を組み込む。
ハードウェアの冗長性だけでなく、モデルの冗長性も確保します。モデルごとに複数の推論エンドポイントを稼働させ、可能な場合はモデルファミリーを分散させます。重要なタスクにはモデルのフォールバックを使用し、単一のアーキテクチャ上の問題によってシステム全体が停止しないようにします。
2. オーケストレーションレイヤーで復旧を自動化する。
数秒単位でスケールし、障害が発生するシステムでは、手動対応では遅すぎます。エンドポイントが停止した場合やGPUが停止した場合にワークロードが自動的に移行するよう、検知とリバランシングのロジックをオーケストレーションレイヤーに直接組み込みます。
3. インテリジェントな負荷分散を実現する。
従来の負荷分散では、トラフィックを均等に分散することが重視されていました。AIでは、パフォーマンスを把握することが重要です。レイテンシ、トークンスループット、GPUの稼働状態、モデルのバージョン、リージョンに基づいて負荷を分散します。ルーティングでは、接続数だけでなく、リアルタイムの処理能力とモデルの安定性も考慮する必要があります。くれぐれもラウンドロビンは避けてください。
4. グレースフルデグラデーションを考慮して設計する。
AIシステムは、障害発生時にも有用性を維持する必要があります。 モデルが利用できなくなった場合は、完全に処理を失敗させるのではなく、より小規模、低コスト、または機能が限定されたバージョンにリクエストをルーティングします。エージェントが特定のスキルやAPIにアクセスできなくなった場合も、クラッシュするのではなく、状況に適応する必要があります。
5. AIスタックをカオステストする。
レジリエンスは理論だけのものではありません。意図的に障害を発生させてください。推論ノードを停止し、入力データを破損させ、帯域幅を制限し、実行中のコンテナを強制終了します。その結果を確認してください。AIパイプラインには、これまでマイクロサービスにのみ適用してきたのと同等のカオスエンジニアリングが必要です。今やAIパイプラインも、数理モデルで包まれたマイクロサービスだからです。
新たなスタックにも同じ原則を適用
AIシステムでは、レジリエンスを取り繕うことはできません。データセンターの停止時にもWebアプリケーションを稼働させ続けてきた原則が、今ではモデルのクラッシュやネットワークの混乱が発生しても、自律型システムの機能を維持しています。障害がいつ発生するかは制御できません。制御できるのは、どのように復旧するかだけです。
実のところ、ここに目新しいものは何もありません。従来と同じ話ですが、今や失敗した場合の代償が変わっています。クラウドによってあらゆるものが分散化し、AIによって脆弱性が増しました。今では、システム停止と「AI障害」の違いは呼び方にすぎません。持続可能なインテリジェンスを実現するには、障害に耐えられるインフラストラクチャ上に構築する必要があります。冗長化は過去の遺物ではなく、万一に備える保険です。負荷分散は時代遅れではなく、不可欠です。そして、グレースフルデグラデーションは任意ではなく、セーフティネットです。2000年代初頭にWeb層の稼働を支えたのと同じ手法が、2026年にはAI層の信頼性を支えます。
どれほど多くのコードを書き、どれほど高度な数学を駆使し、システムがどれほど意識を持つかのように振る舞っても、厳然たる事実はいたって単純です。障害が起こり得るなら、いつかは起こります。そして、十分に速く復旧できれば、ユーザーは障害が起きたことにすら気づかないかもしれません。
世界中の組織が直面している「アプリケーションデリバリーに関する課題トップ10」について詳しくご覧ください。
著者について
Lori MacVittieは、F5のOffice of the CTOに所属するDistinguished Engineer兼Chief Evangelistであり、アプリケーションデリバリ、自動化戦略、インフラストラクチャに関する深い専門知識を有しています。AIエージェントのガードレール策定、脆弱なマルチクラウドアーキテクチャの分析、スケーラブルなシステムの限界の検証など、複雑な事柄を明快にすることで知られています。アプリケーション開発、ITアーキテクチャ、ネットワークおよびシステム運用の分野で、30年以上にわたる業界経験を有しています。F5入社前は、受賞歴のあるテクノロジー編集者として活躍していました。 MacVittieはコンピューターサイエンスの修士号を取得しており、セキュリティ、クラウド、エンタープライズアーキテクチャにわたる分野で多数の著作を発表しています。また、テーブルトークゲームとビデオゲームをこよなく愛し、チーズについては遠慮なく強いこだわりを語ります。
Lori Mac Vittieのその他のブログ記事関連するブログ記事
AIアプリケーションデリバリーのトップ10：脆弱なDNS運用
推論システムやエージェント型システムでは、DNSのレジリエンスが可用性とパフォーマンスを左右します。名前解決に問題があると、誤ったルーティング、レイテンシの急増、複数リージョンにわたるサービス停止につながります。
Application Delivery Top 10とは？
F5は、Application Delivery Top 10リストを通じて、アプリケーション、API、生成AIの配信とセキュリティ確保に伴う課題への組織の対応を支援することを目指しています。
振る舞いと境界：エージェント型AIがもたらすセキュリティの転換
エージェントは、時間の経過とともにリスクが蓄積する、予測困難で際限のない一連の処理を生み出します。セキュリティでは、単一リクエストの検証から、複数のステップで変化し続けるフロー全体にわたる継続的な振る舞いのガバナンスへと移行する必要があります。
アイデンティティがエージェント型AIの門番となる
エージェント型AIによってマシンがツールから自律的な実行主体へと変わる中、アイデンティティが制御の中核となります。つまり、誰が、誰の代理として、どの範囲で行動できるかを、推論時にインラインで適用します。
AIが新たなトラフィックタイプの出現を促進
AIの導入により、新たに主要なトラフィック種別が生まれています。推論リクエストに加え、機械駆動型の自動化トラフィックや、制御ループにデータを供給する大量のテレメトリトラフィックです。