F5、Intel、DellでAI推論のシンプル化、セキュリティ、パフォーマンスを実現

Kunal Anand最高製品責任者 | F5

組織は、AIを活用した新しいアプリケーションやワークフローの構築を目指しています。しかし、それらを適切に運用するのは容易ではありません。複数のAIフレームワークやアプリケーション環境が、開発者やセキュリティチームに複雑さをもたらします。迅速な推論の構築、実行、セキュリティ確保を容易にするソリューションが必要です。

AI開発とセキュリティを簡素化

IntelのOpenVINO™ toolkitは、フットプリントを抑え、1度記述すればどこにでもデプロイできるアプローチを提供しながら、AI推論を高速化するオープンソースツールキットです。比較的少ないコード行数で、拡張性と効率性に優れたAIソリューションを開発できます。TensorFlow、PyTorch、ONNXなどの一般的なフレームワークでトレーニングしたAIモデルを使用できます。OpenVINOでは、まずモデルを変換し、さらに最適化および圧縮することで、応答を高速化できます。その後、OpenVINOランタイムをアプリケーションに組み込んでAI機能を持たせることで、AIモデルをデプロイできる状態になります。AIを組み込んだアプリケーションは、軽量コンテナを介して、データセンター、クラウド、またはエッジにあるさまざまなハードウェアアーキテクチャ上にデプロイできます。

開発者によっては、モデルをアプリケーションとともにホストしたり、アプリケーションに組み込んだりしたくない場合があります。アプリケーションのモデルは随時更新が必要になることがあり、アプリケーションが提供する機能を実現するために複数のモデルを実行する必要が生じる場合もあります。OpenVINOでは、そのためのソリューションとしてOpenVINO model serverを提供しています。これは、クライアントサーバーアーキテクチャでモデルを提供する、ソフトウェア定義の高性能システムです。OpenVINO model serverには、次のようなメリットがあります。

1. 導入の容易さ：Dockerを使用したコンテナ化アーキテクチャにより、OpenVINO model serverを使用したモデルの導入がより簡単になり、拡張性も向上します。ハードウェア構成や依存関係の複雑さが抽象化されます。
2. スケーラビリティ：OpenVINO model serverはクラスター環境にデプロイでき、高い推論負荷に対応し、必要に応じて水平スケーリングできます。このスケーラビリティにより、高負荷時でも一貫した推論パフォーマンスを維持できます。
3. リモート推論： OpenVINO model serverはリモート推論をサポートしており、クライアントはリモートサーバーにデプロイされたモデルで推論を実行できます。この機能は、分散アプリケーションや、クライアントデバイスのリソースが限られているため、高性能なサーバーで推論を実行する必要がある場合に役立ちます。
4. 監視と管理：OpenVINO model serverは監視および管理機能を提供し、管理者は推論パフォーマンスとリソース使用率を追跡し、デプロイ済みモデルを効率的に管理できます。

OpenVINOにより、AIモデルの最適化、デプロイ、スケーリングが容易になりますが、本番環境で運用するにはセキュリティも必要です。F5 NGINX Plusはリバースプロキシとして機能し、AIモデルサーバーのトラフィック管理と保護を実現します。高可用性構成とアクティブヘルスチェックにより、NGINX Plusはアプリ、ワークフロー、ユーザーからのリクエストを稼働中のOpenVINOモデルサーバーに確実に到達させることができます。また、HTTPS証明書とmTLS証明書を使用して、パフォーマンスを低下させることなく、ユーザーアプリケーションとモデルサーバー間の通信を暗号化できます。

同じホストサーバーまたは仮想マシンにデプロイすると、NGINX Plusは受信トラフィックをフィルタリングし、アップストリームコンテナの健全性を監視します。また、コンテンツキャッシュにより、パフォーマンスを高速化し、モデルサーバーの処理負荷を軽減します。この組み合わせにより効率的なセキュリティを実現できますが、単一のCPUにデプロイした場合、NGINX PlusとOpenVINOモデルサーバーの間でリソースの競合が発生する可能性があります。その結果、処理速度の低下やパフォーマンスの劣化につながることがあります。

AIモデルのパフォーマンスを高速化

仮想スイッチング、セキュリティ、ストレージなどのインフラストラクチャサービスは大量のCPUサイクルを消費する可能性があるため、IntelはCPUコアを解放してアプリケーションのパフォーマンスを向上させるIntel® Infrastructure Processing Unit（Intel® IPU）を開発しました。Intel IPUは、データセンターのネットワークおよびストレージインフラストラクチャ機能を安全に高速化し、システムレベルのリソースをインテリジェントに管理するプログラム可能なネットワークデバイスです。Intel® Xeon®プロセッサー搭載Dell PowerEdge R760 Serverと互換性があり、コンピューティング負荷の高いワークロードに必要なパフォーマンスと汎用性を提供します。Dell iDRAC統合管理コントローラーとの連携により、IPUのクローズドループ温度制御が可能になります。

Dell PowerEdge R760ラックサーバーでIntel IPUを使用すると、OpenVINOモデルサーバーとF5 NGINX Plusの両方のパフォーマンスを向上できます。Intel IPU上でNGINX Plusを実行することで、Intel IPUのハードウェアアクセラレーターを活用したパフォーマンスとスケーラビリティが得られます。また、この組み合わせにより、AIモデルサーバーが利用できるCPUリソースを確保できます。

Intel IPUをNGINX Plusと統合することで、NGINX PlusとOpenVINOモデルサーバーの間にセキュリティ上のエアギャップが形成されます。この追加のセキュリティレイヤーは、潜在的な共通の脆弱性から保護し、AIモデル内の機密データの保護に役立ちます。

エッジでAIを強化

F5、Intel、Dellの統合ソリューションにより、エッジでのAI推論を容易にサポートできます。Intel IPU上でNGINX Plusを使用することで、動画分析やIoTなどのエッジアプリケーションをサポートする際の応答が高速化し、信頼性も向上します。

このソリューションは、キャッシュとコンテンツ配信を最適化したコンテンツ配信ネットワークにも対応します。また、環境をまたいだ信頼性が求められる分散マイクロサービスのデプロイもサポートします。

F5、Intel、DellでAIのセキュリティとパフォーマンスを強化

ハードウェアとソフトウェアを組み合わせたソリューションにより、場所を問わず、高性能なAI推論を安全かつ一貫して実行できます。可用性とパフォーマンスを維持しながら、データセンター、クラウド、エッジサイトにAI推論を容易に導入し、ユーザーとAI搭載アプリを支援します。

F5とIntelのパートナーシップについて詳しくは、f5.com/intelをご覧ください。

著者について

Kunal Anand最高製品責任者 | F5

Kunal Anandは、最高製品責任者としてF5の製品部門を率いています。製品のビジョン、戦略、実行を統括し、重要な課題を解決して優れた顧客体験を生み出す画期的なソリューションの開発を推進しています。前職の最高技術・AI責任者としては、F5のテクノロジーおよびAIに関する戦略とビジョンを策定しました。 F5入社以前は、Impervaで最高技術責任者と最高情報セキュリティ責任者を兼任していました。2013年に共同創業したアプリケーションセキュリティのスタートアップPrevotyが2018年に買収されたことを機に、Impervaに加わりました。Prevoty以前は、BBC Worldwideでテクノロジーディレクターを務めました。イノベーションと技術分野で豊富な実績と専門知識を有し、Gravity、MySpace、NASA Jet Propulsion Labでは、セキュリティ、データ、テクノロジー、エンジニアリングの各チームを率いる役職を歴任しました。 AIと機械学習の分野で15年以上の経験を持ち、モデルのトレーニング、AIを活用したアルゴリズムによる製品強化、AIアーキテクチャの設計と実装に携わってきました。 Babson Collegeでコンピューターサイエンスの理学士号を取得しています。

Kunal Anandのその他のブログ記事