コンテナのスケーリングは、サービスの前段にプロキシを配置するだけで済むものではありません。スケーリングには単なる分散以上のものが求められます。変化の速いコンテナの世界でスケーリングを確実に行うには、再試行、サーキットブレーカー、ディスカバリ、分散、監視という5つの異なる機能が必要です。
コンテナのスケーリング手法を取り上げる本記事では、分散について詳しく解説します。
分散
あらゆるものをスケールさせる秘訣は、限られたリソース群にリクエストをどう分散するかにかかっています。無限とも思えるコンピューティングリソースを提供するクラウドでさえ、この原則は変わりません。リクエストを受信した時点で、そのリクエストを受け付けて処理できるリソースの候補は有限です。例外はありません。
したがって、リクエストの転送先を決めることは非常に重要です。適切でないリソースに転送すると、パフォーマンスが低下する可能性があります。適切なリソースに転送すれば、消費者や従業員に満足のいく結果を提供できます。
スケーリング技術の黎明期には、こうした判断はアルゴリズムのみに基づいていました。ラウンドロビン、最小接続数、最速応答といった方式です。これらの実績ある仕組みは現在も使われていますが、徐々に唯一の判断要素ではなく、意思決定プロセスにおける一要素となっています。
これは、接続ベースの意思決定プロセス(いわゆる「従来型のロードバランシング」)だけに依存する時代ではなくなったためです。ロードバランシングの主な目的がTCP接続の管理だった頃は、接続に基づく分散方式が合理的でした。しかし現在、スケールはアルゴリズムだけでなくアーキテクチャにも大きく左右されます。リクエストの分散は、文字どおりレイヤー4プロトコルより上位のレイヤーを含む、さまざまな変数が関係する複雑な計算になり得ます。
分散処理をさらに複雑にしているのは、今日のアーキテクチャ自体が、クラウド間だけでなくコンテナ間にも分散する傾向を強めているという現実です。同じアプリ(またはAPI)の複数のバージョンが同時に稼働している場合もあります。リクエストの分散を担うシステムは、それらを認識して区別し、適切なエンドポイントに確実に配信できなければなりません。
現在では、接続容量だけでなく、レイヤー7(HTTP)のパラメーターに基づいて判断するケースが増えています。ホスト名、APIメソッド(URI)、APIキー、バージョン番号が埋め込まれたカスタムHTTPヘッダー、場所、デバイス、ユーザーなどです。リクエストは、そのコンテキストに応じて評価され、マイクロ秒単位で判断されます。

今日のトラフィック分散には、階層化されたアーキテクチャアプローチが必要です。アプリケーションアーキテクチャの内部に進むほど、制御の粒度は粗くなります。プロキシが同一マイクロサービスのX個のクローン間で負荷分散を判断する段階では、従来のアルゴリズムに基づく計算式だけを使用している場合もあります。一方、環境の外縁部では、Ingress ControllerがHTTPレイヤーの変数に基づいて、複雑な判断を行うことがあります。
外側では、分散を左右するのはアーキテクチャです。内側では、アルゴリズムです。
どちらもコンテナのスケーリングに欠かせない要素であり、おそらく最も重要な要素です。
どちらも、リクエストの振り分け先となり得るリソースの状態(健全性)に関する、正確なリアルタイム情報に依存します。監視については、このシリーズの今後数回の記事で取り上げます。
著者について

Lori MacVittieは、F5のOffice of the CTOに所属するDistinguished Engineer兼Chief Evangelistであり、アプリケーションデリバリ、自動化戦略、インフラストラクチャに関する深い専門知識を有しています。AIエージェントのガードレール策定、脆弱なマルチクラウドアーキテクチャの分析、スケーラブルなシステムの限界の検証など、複雑な事柄を明快にすることで知られています。アプリケーション開発、ITアーキテクチャ、ネットワークおよびシステム運用の分野で、30年以上にわたる業界経験を有しています。F5入社前は、受賞歴のあるテクノロジー編集者として活躍していました。 MacVittieはコンピューターサイエンスの修士号を取得しており、セキュリティ、クラウド、エンタープライズアーキテクチャにわたる分野で多数の著作を発表しています。また、テーブルトークゲームとビデオゲームをこよなく愛し、チーズについては遠慮なく強いこだわりを語ります。
Lori Mac Vittieのその他のブログ記事関連するブログ記事

F5 Application Study Tool:OpenTelemetryによるF5 BIG-IP環境の監視
F5の新しいオープンソースツールは、BIG-IP環境を詳細に可視化し、データを追跡するとともに、強力でカスタマイズ可能なインサイトを得るための基盤を提供します。
F5 BIG-IPでAI防御を実現
F5 BIG-IP Advanced WAF、BIG-IP APM、BIG-IP SSL Orchestratorが、生成AIアプリ向けに包括的なセキュリティソリューションを提供する仕組みをご覧ください。
F5 Advanced WAFによるGraphQL APIの保護
ここ数年、多くの組織がデジタルトランスフォーメーションを進めており、COVID-19のパンデミックによってその動きは加速しています。
アプリケーションサービスの現状 通信業界版:リーダーとしての台頭
通信ネットワークが進化し、さまざまな業界の幅広いユースケースに対応するなか、通信業界の回答者がテクノロジーリーダーとしての存在感を高めていることがわかります。
デジタルトランスフォーメーションは、単なるペーパーレス化ではない
デジタルトランスフォーメーションは、単なるペーパーレス化ではありません。真のモダナイゼーションにアプリケーションアーキテクチャとセキュリティの再構築が必要な理由を、F5ブログでご覧ください。
やめましょう。もう本当にやめましょう。HTTPSはHTTPより高速ではありません。
もうやめましょう。HTTPSはHTTPより高速ではありません。プロトコルのパフォーマンスに関する微妙な違いと、暗号化トラフィックを適切に最適化する方法については、F5ブログをご覧ください。