人工知能(AI)と機械学習(ML)における推論とは、学習済みモデルが、それまでに処理したことのない新しいデータに基づいて予測や判断を行うプロセスを指します。トレーニングを通じてモデルを開発・改良した後、そのモデルをリアルタイム環境やバッチ処理で実際に活用するのが推論です。株価の予測や不正取引の検知など、意思決定に役立つ結果をもたらすことで、推論は機械学習の可能性を現実のものにします。

重要なポイント

  • 推論とは、学習済みモデルが学習した内容を未知の新しいデータに適用し、予測、分類、または生成結果を出力する運用段階です。
  • トレーニングと推論では、リソースの使用特性が異なります。トレーニングは定期的に実行され、大量の計算リソースを必要とします。一方、推論は継続的に実行され、レイテンシー、スループット、コストで評価されます。
  • 本番環境でモデルを稼働させるには、ハードウェアアクセラレータ、ランタイムエンジン、モデル最適化技術に加え、ユーザー、アプリケーション、推論エンドポイントをつなぐネットワークおよびセキュリティのインフラストラクチャが必要です。
  • 企業は通常、リアルタイム、バッチ、エッジ、生成AIなど、複数のワークロードパターンにわたって推論を管理しており、それぞれでレイテンシとスケーリングの要件が異なります。
  • 推論ワークロードが増大するにつれ、ユーザー、データ、API、モデルをつなぐアプリケーション配信およびセキュリティのレイヤーは、パフォーマンスとリスク管理において、モデル自体と同じくらい重要になります。

AIと機械学習における推論とは?

この概念は、現代のAIシステムの中核をなすものです。組織は推論技術を活用して、業務を最適化し、ユーザー体験を向上させ、より多くの情報に基づく意思決定を可能にしています。基本的に、モデルのトレーニングでは過去のデータを分析してパターンを発見するのに対し、推論では、発見したパターンを新たな状況やデータポイントに適用することで、迅速なインサイトの獲得やリアルタイムの予測を可能にします。機械学習は、学習(トレーニング)フェーズと適用(推論)フェーズを分離することで、企業の幅広いプロセスにおける俊敏性、効率、精度の向上を支援します。

機械学習における推論を理解する

MLにおける推論とは、学習済みのパターンから一般化し、新たな入力に対して予測を行うモデルの能力と要約できます。モデルはトレーニング時に過去のデータを処理し、関係性やパターンを検出します。この学習が完了した後、獲得した知識を使って、これまでに扱ったことのないデータに対する分類、予測、推奨を行う段階が推論です。このように、MLの推論では、個々の判断に人が介入することなく、潜在的なセキュリティ脅威の特定、個人に合わせた商品の推奨、症状に基づく病気の診断など、行動につながる結果を導き出すことができます。

学習における推論は、統計的な枠組みにも存在します。統計的学習における推論は、多くの場合、確率モデルを適用して母集団のパラメーターについて結論を導いたり、確率的な予測を行ったりすることを指します。AIやMLでは予測モデルの作成に重点が置かれることが多いものの、予測の信頼度や不確実性の程度を決めるのは、その基盤となる統計理論です。この統計的な基盤は、金融や医療など、不正確な予測が極めて重大な影響を及ぼす可能性があり、リスクに慎重な対応が求められる分野で特に重要です。

推論とトレーニングの違い

トレーニングと推論は、機械学習のライフサイクルにおける、異なるものの相互に関連する2つの段階です。トレーニング、すなわちモデル開発には、大量の計算処理が必要です。大量の過去データやラベル付きデータをアルゴリズムに与え、重み、バイアス、または判断ルールを学習させます。このプロセスは複雑なため、トレーニングは通常、高性能GPU、大容量メモリ、大規模な計算ワークロードを処理できる専用フレームワークを備えた堅牢なシステムで実行されます。

一方、推論とは、モデルが学習した知識をリアルタイムのデータや新たに取得したデータに適用することです。トレーニングがモデルのパラメーターの最適化(学習したパターンの最適な内部表現を見つけること)を目指すのに対し、推論はそれらのパラメーターを使って予測を生成することに重点を置きます。トレーニングは通常1回(モデルの更新が必要な場合は定期的に)実施しますが、推論は常時稼働し、必要に応じて、多くの場合ミリ秒単位で予測を提供します。十分にトレーニングされ、最適化されたモデルは、大量の入力データを高速に処理できるため、企業は得られた知見に基づいてほぼ即座に行動できます。

ディメンション

AIトレーニング

AI推論

目的

過去のデータからパターンを学習

学習したパターンを新しいデータに適用

使用データ

大規模なデータセット、ラベル付きデータセット、または過去のデータセット

新しい未見のデータ(多くの場合、単一のレコードまたは小規模なバッチ)

頻度

定期的に実行、1回のみ実行、または随時再トレーニング

継続的またはオンデマンド

コンピューティングプロファイル

高い状態が持続し、多くの場合、数時間から数日間に及ぶ

リクエストあたりでは低いものの、継続的かつ繰り返し発生

主要指標

モデル精度

レイテンシとスループット

出力

学習済みモデル、すなわち学習によって得られた重み

予測、分類、または生成された結果

ML推論のプロセス

ML推論は、データの入力から始まります。ECサイトでの取引リクエストのような単一のデータポイントでも、モノのインターネット(IoT)デバイスのセンサー出力のような連続するデータポイントでも、モデルはまず入力データの前処理や標準化を行います。この処理は、多くの場合、学習時のデータ処理と同じ方法で行われます。学習時と推論時でデータ形式に相違があると、モデルの精度が低下する可能性があるため、データ準備の一貫性が重要です。

前処理の後、モデルは学習済みのパラメーター、レイヤー、重みから成る内部ロジックを適用し、入力を意味のある出力に変換します。出力には、分類ラベル(「スパム」か「スパムではない」か)、数値(株価予測)、推奨アクション(融資申請の承認または却下)などがあります。この計算の速度は、モデルの複雑さに加え、並列化やハードウェアアクセラレーションの適用状況にも左右されます。その後、プロンプトに応じた結果がユーザーやシステムに返されます。多くの環境では、これらの予測に対して、セキュリティ、コンプライアンス、その他の分野固有の妥当性確認のために追加のチェックが行われます。

推論にはさまざまな種類のモデルが用いられます。教師あり学習では、ラベル付きデータが、モデルによる既知の結果の予測に役立ちます。教師なし学習では、モデルがラベルのないデータ内の構造やグループ分けを推定します。AIの別の分野である強化学習では、時間の経過とともに更新される方策ベースのアプローチを採用していますが、各状態で最適な行動を選択する際には、やはり推論に依存します。学習の枠組みにかかわらず、推論プロセスは、行動につながる結果や知見が得られる最終段階です。

AI推論インフラ:ハードウェア、ネットワーク、セキュリティ


企業が学習済みモデルを、大規模な環境でも安定して応答するサービスとして提供するには、ハードウェア、ランタイムソフトウェア、配信インフラからなるフルスタックが必要です。企業のAI推論は、GPUやモデルだけでなく、ユーザー、データ、API、推論エンドポイントをつなぐアプリケーション配信およびセキュリティのインフラにも依存しています。

ハードウェアアクセラレーター

推論ワークロードは、各ユースケースで求められるスループット、レイテンシー、コストのバランスに応じて選ばれた専用プロセッサー上で実行されます。グラフィックス処理ユニット(GPU)は、その並列アーキテクチャーが、推論の基盤となる行列演算やディープラーニングに適しているため、引き続き最も一般的な選択肢となっています。特定のモデルアーキテクチャーをより高いコスト効率と電力効率で実行したい組織では、特定用途向け集積回路(ASIC)や、クラウドプロバイダー独自の推論チップを含むその他のカスタムシリコンも広く利用されています。一般に、新しい世代のGPUではメモリー帯域幅が拡大し、より低精度の形式へのサポートが追加されるため、単一のアクセラレーターで、以前の世代よりも大規模なモデルや、より多くの同時リクエストを処理できます。

ランタイムエンジン

ランタイムエンジンは、推論サーバーとも呼ばれ、学習済みモデルと予測を要求するアプリケーションの間で動作します。モデルの読み込み、受信リクエストのバッチ処理、ハードウェアリソースの管理を行い、結果を返します。多数のユーザーが同時に利用する大規模な環境でモデルを効率的に実行するには、単一のマシンで同じモデルを学習・テストする場合とは異なる技術的課題に対処する必要があります。ランタイムエンジンは、そのために存在します。

モデルの最適化手法

本番環境の推論システムでよく使われる手法に、量子化とKVキャッシュがあります。量子化は、モデルの重みと活性化の数値精度を、たとえば16ビット浮動小数点(FP16)から8ビット整数(INT8)に下げる手法です。これによりメモリ使用量が減り、低精度演算を高速化するように設計されたハードウェアでは、計算を高速化できる場合があります。一方で、通常は許容できる範囲ながら精度がわずかに低下するため、一般に開発チームは、量子化したモデルを元のモデルと比較して検証してからデプロイします。Transformerベースの言語モデルで使われるKVキャッシュは、生成済みのトークンのアテンションデータを保存し、新しいトークンを生成するたびにモデルが同じデータを再計算するのを防ぎます。これにより、長い応答の生成に必要な計算量を大幅に削減できます。

低レイテンシのネットワーキングとAPIセキュリティ

推論は、アプリケーションプログラミングインターフェイス(API)を通じてユーザーやアプリケーションに提供されるため、リクエストがモデルに届くまでのネットワーク経路は、モデル自体の処理時間と同じくらい重要です。アプリケーションと推論エンドポイントの間で発生するネットワークの遅延や輻輳、非効率なルーティングは、高速なGPUや小型の量子化モデルによる性能向上を帳消しにする可能性があります。また、推論APIには、公開API全般に共通する従来のリスクに加え、プロンプトインジェクション、モデルの出力を通じたデータの不正流出、高価なコンピューティングリソースへの不正アクセスなど、新たなセキュリティ上の懸念も伴います。そのため、企業の推論戦略では、ハードウェアやモデルの選定と併せて、専用のトラフィック管理とAPIセキュリティを取り入れる動きが広がっています。

エンタープライズ推論ワークロードの管理

推論ワークロードの動作は一様ではなく、それを支えるインフラストラクチャでは、その違いを考慮する必要があります。企業は一般に、リアルタイム推論、バッチ推論、エッジ推論、生成AIおよびLLMの推論という4つのパターンをいくつか組み合わせて管理しています。各パターンで、求められるレイテンシーとスケーリングのアプローチが異なります。

リアルタイム推論(オンライン推論)

リアルタイム推論は、リクエストを1件ずつ処理し、通常はミリ秒単位で即座に結果を返します。この方式は、取引時の不正検知、チャットボットの即時応答、自動運転車の周辺環境認識など、応答の速さが重要なユースケースに適しています。こうした用途では、応答が遅れると、誤った応答と同じように役に立ちません。

バッチ推論

バッチ推論は、多数のリクエストをまとめて一括処理する方式で、多くの場合、スケジュールに従って、またはオフピーク時に実行します。リクエストごとのレイテンシよりも全体のスループットが重視されるため、バッチジョブでは利用可能なハードウェアをより有効に活用できます。一般的な例として、夜間におすすめ商品を生成する処理や、大規模な顧客データセットを対象に解約リスクをスコアリングする処理が挙げられます。

エッジ推論

エッジ推論は、スマートフォン、カメラ、産業用センサーなど、データを生成するデバイス上またはその近くでモデルを実行する方式です。データを中央のデータセンターやクラウドリージョンに送信する必要はありません。これにより、レイテンシが低減し、オフラインや接続が断続的な環境での利用に対応できるほか、データプライバシーやデータレジデンシーの要件への対応にも役立ちます。ただし、通常は利用可能なハードウェアに収まるよう、より小規模なモデルや圧縮率を高めたモデルを実行する必要があります。

生成AIとLLMの推論

生成AIと大規模言語モデル(LLM)のワークロードは、単一の結果を返すのではなく、トークン単位で出力を生成するため、分類モデルや回帰モデルよりもリソース使用量を予測しにくくなります。短いプロンプトから長い応答を生成する場合は、長いプロンプトから短い応答を生成する場合よりもはるかに多くの計算リソースを消費し、利用の拡大に伴ってワークロードも急速に変化する可能性があります。この変動性は、生成AIのワークロードが従来のML推論よりも負荷分散やKubernetesベースのスケーリングに大きな負担をかける主な理由の1つです。日単位ではなく分単位で変化する利用パターンに合わせて、処理容量を柔軟に調整する必要があるためです。

MLにおける推論の実際の活用例

ML推論の影響は、さまざまな分野で見られます。例えば医療分野では、推論により、医師がCTやMRIなどの医用画像から異常を検出するのを支援し、手作業よりも迅速に潜在的な問題を指摘します。金融業界では、高頻度取引を行う企業や銀行が推論を活用し、市場動向の予測、クレジットカード取引における不正の兆候の検出、融資リスクの評価を行っています。小売業者は推論をレコメンデーションエンジンに組み込み、個々の購買行動に合わせて商品を提案することで、ユーザーエクスペリエンスを大幅に向上させています。

こうしたよく挙げられる例に加え、ML推論は、音声操作アシスタント、スマートカメラの顔認識、教育ソフトウェアの個別最適化された学習経路も支えています。モデルは、音声コマンド、リアルタイムの映像、パフォーマンス指標などの新しいデータを処理し、即座に回答を返したり、動作を実行したりします。そのため、さまざまな業界の企業が、推論に基づくインサイトを活用して効率化を推進し、コストを削減し、顧客満足度を向上させています。大規模なデータや統合されたインフラストラクチャと組み合わせることで、推論は、組織が現在のトレンドに対応し、今後の動向をより正確に予測して、先を見据えた行動を取れるようにします。

MLの推論とトレーニングの比較

MLの推論と学習を比較すると、組織がAIワークロード全体で高いパフォーマンスを追求する際に直面するトレードオフが明らかになります。学習には、膨大な計算リソース、データサイエンスの専門知識、豊富な過去データが必要です。実験、ハイパーパラメーターの調整、検証を伴う、リソースを大量に消費する段階です。こうした要因により、特にディープラーニングモデルや極めて大規模なデータセットでは、学習サイクルに数時間から数日、場合によっては数週間かかることもあります。

一方、推論は通常、速度とスケーラビリティを優先するという制約の下で実行されます。目標は、モデルの精度を損なうことなく、新しいデータをほぼリアルタイムで処理することです。本番環境では、ネットワーク遅延やハードウェアアクセラレーションの制限などのボトルネックがパフォーマンスを低下させる可能性があり、この目標の達成が課題となることがあります。組織は、モデルを再トレーニングして最新の状態に保つ頻度と、推論リクエストを処理する効率との適切なバランスを見いだすのに苦慮することが少なくありません。企業は、多くの場合、転移学習、モデル圧縮、エッジコンピューティングなどの手法で両者を最適化し、計算コストを効果的に管理しながら、モデルの予測で高い精度を実現することを目指しています。

企業のAI導入を支援するF5

F5は、エンタープライズAI環境のセキュリティ確保、拡張、オーケストレーションを支援するために、F5 Application Delivery and Security Platformを活用しています。分散APIに依存することが多い、相互接続されたAIモデルの課題に対処することで、ワークフローを効率化し、インフラストラクチャを強化し、ハイブリッド環境やマルチクラウド環境全体でシームレスなパフォーマンスを確保します。また、AIのデータ取り込みに対応するインテリジェントなトラフィック管理と高度な脅威保護により、効率的なトレーニング、ファインチューニング、推論を支援します。NVIDIAやIntelなどの業界リーダーと連携し、ニーズに合わせたソリューションを提供することで、AI運用を簡素化し、セキュリティを強化し、企業が確信を持ってエンタープライズAIの可能性を最大限に活用できるようにします。F5があらゆる場所でAIアプリケーションを保護し、配信する仕組みをご覧ください。

ハイブリッドおよびマルチクラウド環境全体へのAI推論の展開

多くの企業は、オンプレミスのデータセンター、パブリッククラウド、エッジ拠点を組み合わせて推論を実行しており、それぞれの環境でレイテンシー、コスト、コンプライアンスを考慮する必要があります。F5は、ポートフォリオの複数の製品を通じて、この複雑さに対処します。F5 AI GatewayのようなAIゲートウェイを使用することで、チームはモデルの実行場所にかかわらず、単一の制御ポイントからAIモデル、エージェント、ツールへのトラフィックを管理し、保護し、最適化できます。

F5 Distributed Cloudは、データセンター、クラウド、エッジ拠点全体に一貫したネットワーキングポリシーとセキュリティポリシーを適用し、セキュリティ態勢を分断することなく、環境間で推論トラフィックをやり取りできるようにします。AIファクトリー向けに構築された負荷分散ソリューションは、オンプレミスでもGPU-as-a-service経由でも、GPUクラスターやKubernetes環境に推論トラフィックとトレーニングトラフィックを振り分け、高価なアクセラレーターの処理能力が使われずに遊休状態になることを防ぐのに役立ちます。F5 ADSPの一部であるこれらのソリューションは、環境ごとに個別のポイントソリューションをつなぎ合わせるのではなく、ユーザー、データ、API、推論エンドポイントを接続する単一のアーキテクチャを組織に提供します。

AIと機械学習における推論は、トレーニングと実用化の橋渡しをします。モデル開発中に学習した複雑なパターンを、行動につながるインサイトへと変換し、パーソナライズされたレコメンデーションや不正検知から、医療診断、チャットボットとの対話まで、幅広い用途を支えます。推論は、新しいデータの処理方法と出力の提供方法に焦点を当てることで、機械学習が真価を発揮する段階です。これにより、組織はデータに基づく意思決定を行い、ユーザー体験をリアルタイムで向上させることができます。

AIを活用したソリューションの導入がさまざまな業界で進むにつれ、推論の重要性は高まり続けています。推論には、オーケストレーション層や専用ハードウェアを含むことの多い、効率的で信頼性の高いインフラストラクチャが必要です。同時に、状況の変化に適応できる、適切に設計されたモデルの価値も浮き彫りになります。負荷の大きい学習処理を、迅速に繰り返し実行する推論プロセスから分離することで、最新のAIシステムは、性能や速度を犠牲にすることなく、最新の状況に即した有用性を維持できます。オンラインでのレコメンデーションのような日常的な用途から、予知保全や高度な診断といったミッションクリティカルな業務まで、機械学習が私たちの働き方、暮らし方、イノベーションのあり方に及ぼす影響は拡大しており、その中心にあるのが推論です。