Intel OpenVINOでAI推論のセキュリティを強化：Intel IPU、F5 NGINX Plus、Red Hat OpenShiftを活用

Paul Pindellプリンシパルソリューションアーキテクト | F5

AI推論タスクを高速化するだけでなく、よりセキュアに実行でき、セットアップやメンテナンスの手間も最小限に抑えられる世界を想像してみてください。話がうますぎると思われるでしょうか。Intel OpenVINOをベースとする最新のソリューションは、Intel E2100「Dayton Peak」Infrastructure Processing Unit（IPU）、F5 NGINX Plus、Red Hat OpenShiftを統合することで、これを実現します。これは、インストールと運用を効率化しながら、AIワークロードをセキュアかつ効率的に拡張したい開発者や企業向けに設計された、画期的な構成です。

このパズルのすべてのピースがどのように組み合わさるのか、そしてこの統合がAI推論のセキュリティとスケーラビリティを大きく変える理由を詳しく見ていきましょう。

1. AIインフラストラクチャの重要なタスクをIntel IPUにオフロード

この構成の中核となるのは、重要なインフラストラクチャタスクをIntel IPUにオフロードし、AI推論を大幅に高速化する設計です。これにより、Intel OpenVINO推論サーバーを実行するホストシステムは、高速かつ高精度な推論結果の提供という最も重要な処理にリソースを集中できます。F5 NGINX Plusと、Red HatのEnterprise Linux OS、OpenShift、MicroShiftを組み合わせることで、パフォーマンス、スケーラビリティ、セキュリティを独自のバランスで実現します。

基本的なワークフローは次のとおりです。暗号化されたトラフィックは、AIクライアントからIntel IPU上に直接デプロイされたNGINX Plusへ送信されます。NGINX Plusはトラフィックプロキシとして機能し、データを復号して、PCIeバス経由でDell R760システム上のIntel OpenVINO推論サーバーへ安全にルーティングします。その後、結果はNGINX Plusを介してAIクライアントに返されます。

2. Intel IPU上でインフラストラクチャを実行する主なアーキテクチャ上の利点

ワークフロー自体にも大きな利点がありますが、アーキテクチャ上の優位性によって、さらに高い価値がもたらされます。インフラストラクチャのタスクをIPUに移行することで、このソリューションはパフォーマンスを向上させるとともに、管理者間の責任分担を明確にします。

Intel IPUにNGINX Plusを導入する重要なメリットの1つは、インフラストラクチャタスクをホストシステムのCPUからオフロードできることです。多くのリソースを消費する可能性があるトラフィックルーティング、復号、アクセス制御などの処理は、すべてIPU上で実行されます。これにより、ホストCPUでは、追加のIntel OpenVINO推論モデルの実行や、リソース負荷の高いAI処理など、アプリケーション固有のワークロードに使用できる処理能力が大幅に増加します。

実際の環境では、高価な高性能サーバーハードウェアをより有効に活用できます。バックグラウンドのインフラストラクチャタスクにリソースを奪われることなく、ホストCPUの能力を最も重要なワークロードに最大限活用できます。

このソリューションには、インフラストラクチャサービスとアプリケーションワークロードを分離できるという独自のメリットもあります。NGINX Plus、ネットワーク管理、アクセス制御など、すべてのインフラストラクチャタスクをIntel IPU上で実行する一方、Intel OpenVINO推論サーバーはホスト上で稼働させることで、コントロールプレーンの役割を明確に分離しています。

Intel OpenVINOアプリケーション管理者は、推論ワークロードの管理、AIモデルのデプロイとスケーリング、アプリケーションレベルのパフォーマンス最適化を担当します。一方、インフラストラクチャ管理者は、Intel IPU環境の監視、ルーティングの管理、アクセス制御（FXPルールを使用）の適用を行うほか、NGINX Plusインスタンスを構成して、インフラストラクチャサービスがセキュアかつ効率的に動作するようにします。

この職務分担により、責任範囲の曖昧さが解消され、組織内の連携が強化されるとともに、各管理者がそれぞれの専門領域に専念できます。

これらのメリットが相まって、このソリューションは実用性に優れるだけでなく、リソース利用効率と高水準のセキュリティを維持しながら、企業のAIワークフローを効率的に拡張できます。

3. Red Hat OpenShiftとMicroShift：自動化と簡素化を推進

このシステムの特に優れた点の1つは、Red Hat MicroShiftとOpenShift DPU Operatorsを活用し、構成とスケーリングをほぼ手間なく行えることです。実際に動作する様子を見ると、こうした自動化はまるで魔法のように感じられます。詳しく見ていきましょう。

クラスターは2つあります。1つ目はホストシステム上で稼働するOpenShiftクラスターです。具体的には、Dell R760上で稼働するOpenShiftワーカーノードです。2つ目はMicroShiftクラスターで、Intel IPUのArmコア上にデプロイされます。この軽量版OpenShiftにより、完全なKubernetes環境のオーバーヘッドを伴わずに、コンテナの柔軟性を活用できます。

これらのクラスターは、バックグラウンドで負荷の高い処理を担うDPUオペレーターを介して連携します。クラスター間で通信し、稼働中のPodやネットワークに関するデータを交換します。この接続は、セキュリティルールやトラフィックルールを動的に管理するうえで特に重要です。

開発者の負担を大幅に軽減するのが、動的なルール作成です。これまで、PCIeトラフィックのアクセス制御に使用するFXPルールの設定には、手作業とP4プログラミングの知識が必要でした。現在は、ワークロードをデプロイするだけで、あとはオペレーターがすべて自動的に処理します。

適切なタグが付けられたOpenVINO推論Podがデプロイされるたびに、オペレーターが新しいFXPルールを動的に作成します。これらのFXPルールによりPCIeバス経由の通信が可能になり、ワークロードのスケールアップやスケールダウンに応じて、システムがアクセスルールを自動的に調整するため、推測に頼らず設定できます。

このレベルの自動化により、開発者からシステム管理者まで、インフラストラクチャ構成の細部に煩わされることなく、AIワークロードに集中できます。

4. AI推論ワークフローの実際

ここからは、このシステム全体がAI推論でどのように動作するのか、その核心を見ていきます。Intel OpenVINOディープラーニング・デプロイメント・ツールキットを使用して、画像内の動物種を識別する例を取り上げます。ワークフローを順を追って見ていきましょう。

まず、暗号化された画像データがAIクライアントからGRPCS API呼び出しを介して送信されます。Intel IPU上で稼働するNGINX Plusは、データを復号し、トラフィックプロキシとして機能します。このトラフィックはPCIeバスを介して安全に転送され、Dell R760上でホストされているIntel OpenVINO推論サーバーに到達します。Intel OpenVINO推論サーバーは、ResNet AIモデルを使用して画像を処理し、各画像に写っている動物の種を判定します。たとえば、「これはゴールデンレトリバーです」や「これはキジトラ猫です」と推論する場合があります。結果は同じ経路を通り、NGINX Plusを経由してクライアントに返されます。

このシステムは、複数のAIクライアントが画像をバッチ処理する場合でも、同時に対応できるように構成できます。複数のクライアントが推論リクエストを繰り返し実行しても、セキュリティ、シームレスな動作、応答性が維持されます。

5. インテリジェントなアクセス制御によるセキュリティの強化

このシステムの主なメリットの1つであるセキュリティについて説明します。Intel IPUはトラフィックを処理するだけでなく、インフラストラクチャとホスト上で実行される推論ワークロード間の通信を積極的に保護します。

仕組みは次のとおりです。IPUはFXPルールを使用して、PCIeインターフェースを通過するトラフィックを制御します。動的に生成され、DPUオペレーターによって管理されるルールで許可されたトラフィックのみが通過できます。これにより、ホストシステムへの不正アクセスをブロックしながら、通信を保護します。このような多層型セキュリティは、特にAIパイプラインで機密データを処理する企業のリスク軽減に役立ちます。

6. このソリューションが際立つ理由

このソリューションの真価は、パフォーマンス、自動化、セキュリティを見事に融合している点にあると考えています。インフラストラクチャ管理をIPU上に分離し、推論ワークロードをホストマシン上で実行することで、Intel、Red Hat、F5は、効率性とセキュリティを両立する構成を実現しました。

この構成が画期的である理由は次のとおりです。

• セットアップを効率化：手動設定は不要です。DPUオペレーターと動的なルール作成により、ほぼプラグアンドプレイで導入できます。
• 動的スケーリング：推論Podの実行数が1つでも20でも、通信ルールとセキュリティルールが自動的に適応します。
• セキュリティの強化：インフラストラクチャとワークロードを明確に分離し、PCIeバス上のアクセス制御と組み合わせることで、堅牢なセキュリティ境界を構築します。
• リソース使用率の最適化： インフラストラクチャタスクをIPUにオフロードすることで、ホストCPUを優先度の高いコンピューティングタスクに使用できるようになります。
• 明確な責任分担：管理者は互いの業務を妨げることなく、アプリケーションまたはインフラストラクチャという各自の担当領域に集中できます。

AI推論を飛躍的に進化

Intel OpenVINOをベースとするこのソリューションは、ハードウェアとソフトウェアをシームレスに統合します。Intel E2100 IPU、Red Hat OpenShift、F5 NGINX Plusは、セキュリティとスケーラビリティを向上させながら、複雑なAI推論パイプラインを簡素化する方法を示す業界最高水準の事例です。

開発者、インフラストラクチャアーキテクト、企業の意思決定者など、立場を問わず、このソリューションは、最新のコンテナ化環境でAIワークロードを管理するための実践的な指針となります。ご関心をお持ちいただけましたら、この構成をワークフローにどのように組み込めるか、Intel、F5、またはRed Hatまでお気軽にお問い合わせください。

このテクノロジーがどのように進化していくのか、非常に楽しみです。私自身、次なるイノベーションの登場が待ちきれません。詳しくは、LinkedInで私のデモ動画をご覧ください。

著者について

Paul Pindellプリンシパルソリューションアーキテクト | F5

Paul PindellはF5のプリンシパルアーキテクトです。Technology Alliances部門で、F5の製品ポートフォリオ全体にわたる技術パートナーシップを統括しています。2019年以降は、F5初のイノベーションプロジェクトの立ち上げ支援をはじめ、全社戦略の取り組みにおいても重要な役割を担っています。F5のAI戦略タイガーチームを率い、F5の既存製品がAIアプリケーションのセキュリティ確保とデリバリにどのように貢献できるかを明確にすることに注力しました。その後、AIアプリケーションのデリバリとセキュリティを支えるために必要な中核的な構成要素、課題、リスク、パートナーソリューションを示すF5のAI Reference Architectureの策定にも携わりました。OPI Summit、OCP Global Summit、Intel InnovatiON、Open Source Summit、Red Hat Tech Exchangeのほか、米国およびEMEA各地で開催された複数のVMworldカンファレンスなど、業界イベントで基調講演や分科会講演を数多く行っています。また、オープンソースプロジェクトの創設者兼メンテナーであり、Open Programmable Infrastructure ProjectのOutreach Committeeで委員長を務めています。以前は、SymantecのAntivirus Response Data Centersおよびセキュリティソフトウェアテストラボのデータセンター運用を統括していました。

Paul Pindellのその他のブログ記事