ボットによる大規模言語モデルへの攻撃:OWASP LLM Top 10

F5エコシステム | 2025年2月05日

ボットとAIは、長年にわたり密接に結び付いてきました。ボットを阻止するために考案された初期のCAPTCHAテストは、人間には簡単に解ける一方、AIには難しい問題として設計されていました。この違いは、コンピューター知能に関するアラン・チューリングの1950年の論文にまでさかのぼります。近年では、F5を含むセキュリティ企業がAIを導入してボットを検知する一方、ボット作成者もAIを利用して検知を回避し、CAPTCHAを解いています。生成AIの登場により、ボットとAIの関係は進化し続けています。ボットはインターネットからコンテンツを抽出して大規模言語モデル(LLM)に取り込ませ、AIエージェント(実質的には高度なボット)は、意図されていない方法でアプリとやり取りします。また、LLMおよび生成AIアプリの2025年版リスクと対策トップ10

“攻撃者は、LLMに対するサイバー攻撃を大規模化するために、ほぼ必ず何らかの形でボットを利用します。そのため、ボットを緩和することで、サイバー犯罪者から重要な攻撃手段を奪うことができます。”

LLMの脆弱性を悪用する手段は、もちろんボットだけではありません。LLMセキュリティは、サイバーセキュリティの中でも複雑かつ急速に進化している分野であり、原因や解決策を1つに絞って課題を単純化することは適切ではありません。しかし、攻撃者はほぼ必ず何らかの形でボットを利用してサイバー攻撃を大規模化しており、ボットを緩和することで、サイバー犯罪者が用いる重要な手段の1つを排除できます。ボット対策がWeb、モバイル、APIのセキュリティと同様にLLMセキュリティにも関係する理由を理解するため、2025年版「LLMアプリケーションのOWASP Top 10セキュリティリスク」を順に確認し、攻撃者が各脆弱性の悪用にボットをどのように利用する可能性があるかを考えてみましょう。

1. プロンプトインジェクション

A プロンプトインジェクション攻撃は、LLMの動作を悪意のある方法で変えようとする攻撃です。OWASPによると、これによりモデルが「ガイドラインに違反する、有害なコンテンツを生成する、不正アクセスを可能にする、または重要な意思決定に影響を及ぼす」可能性があります。プロンプトを通じてモデルの動作に影響を与えるには、攻撃者が多数のプロンプトを注入し、有害なプロンプトをモデルに大量に送り込む必要がある場合があります。これは、被害を最大化するか、意図した結果をもたらすプロンプトを見つけるためです。十分な数の悪意あるプロンプトを入力するには、攻撃者は自動化のためにボットを必要とします。

2. 機密情報の漏えい

従業員や顧客にビジネス価値をもたらすLLMの構築競争が進む中、組織は自社が保有する膨大なデータストアを使用してモデルをトレーニングします。しかし、これらのデータストアには、個人データや企業秘密などの機密情報が含まれている可能性があります。攻撃者は、その機密データを漏えいさせることを狙い、ほぼ確実にこれらのモデルを探るでしょう。また、攻撃者は探しているデータの内容や、そのデータを引き出すための具体的なプロンプトがわからない場合があるため、価値のある機密情報が漏えいすることを期待して、多数のプロンプトを送信する総当たり攻撃を仕掛ける可能性があります。モデルに対して大量のプロンプトを実行するため、攻撃の規模拡大を狙う攻撃者はボットを使用します。

3. サプライチェーン

他の情報システムと同様に、LLMもトレーニングデータ、基盤モデル、デプロイプラットフォームなどに依存しています。そのため、攻撃者はLLMのサプライチェーンを侵害することで、LLM自体を侵害できます。攻撃者は依存関係を侵害するために、ボットを使って偽情報をデータストアに混入させたり、クレデンシャルスタッフィングやリアルタイムフィッシングプロキシによって認証システムを突破したり、認可の脆弱性を探ったりする可能性が高いと考えられます。

4. データおよびモデルのポイズニング

データポイズニングでは、攻撃者が事前学習、ファインチューニング、または埋め込みに使用するデータを操作し、脆弱性、バックドア、バイアスを組み込みます。OWASPによると、「このような操作によって、モデルのセキュリティ、パフォーマンス、または倫理的な動作が損なわれ、有害な出力や機能低下につながる可能性があります」。攻撃者がデータを操作する手法は数多くありますが、ボットはさまざまな種類の攻撃で広く使われるツールです。たとえば、認証や認可の突破、ボット対策が施されていないアプリケーションを介したデータストアへの偽データの挿入などに利用されます。

5. 不適切な出力処理

不適切な出力処理とは、LLMモデルの出力が、その出力に依存するシステムに損害を与える可能性がないかを確認できていない状態を指します。サプライチェーン、データポイズニング、モデルポイズニングの脆弱性がLLMモデルの上流にあるシステムの侵害に関するものであるのに対し、不適切な出力処理は下流のシステム、つまりLLMモデルの出力に依存するシステムに影響を及ぼします。OWASPによると、「不適切な出力処理の脆弱性が悪用されると、Webブラウザでのクロスサイトスクリプティング(XSS)やクロスサイトリクエストフォージェリ(CSRF)のほか、バックエンドシステムでのサーバーサイドリクエストフォージェリ(SSRF)、権限昇格、リモートコード実行につながる可能性があります」。

別の見方をすると、攻撃者はLLMを利用して、その出力に依存する別のアプリケーションを攻撃します。攻撃者は、入念に作成した入力をアプリケーションに与えることでこの脆弱性を悪用する可能性がありますが、自動化によって多数の入力パターンを試し、下流のアプリケーションに害を及ぼす出力を生成する入力を見つけ出す総当たり攻撃を試みることもあります。この自動化では、モデルに悪意のある出力を強制的に生成させ、その出力がアプリケーションに意図した悪影響を及ぼしたかどうかを検証します。この種の探索を大規模に行うには、ボットが必要です。

6. 過剰なエージェンシー

過剰なエージェンシーは、LLMベースのシステムを介して実行される権限昇格の一形態です。この脆弱性は、LLMベースのシステムが昇格された権限で動作し、関数を呼び出したり、他のシステムと連携したりできることに起因します。攻撃者は、LLMベースのシステムのどこで権限が昇格されているか、またその権限昇格をどのように悪用できるかが分からないため、自動化を利用して複数のプロンプトを入力し、権限昇格を誘発して悪用しようとする可能性が高いと考えられます。

7. システムプロンプトの漏えい

LLMを基盤とするアプリケーションでは、アプリケーションの要件を満たすようモデルの動作を導くシステムプロンプトの指示をLLMに与えることがよくあります。実際には、システムプロンプトに、データベースへの接続文字列、プロプライエタリコード、知的財産、その他企業が安全に保護すべきコンテンツなどの機密情報が含まれる場合があります。システムプロンプト漏洩とは、アプリケーションが意図せずシステム指示を開示するよう誘発する、プロンプトインジェクションの一種です。

プロンプトを通じてLLMにこれらの機密情報を漏えいさせることは容易ではありませんが、攻撃者はほぼ確実に、システムプロンプトに埋め込まれた機密データをより効果的に探り出すための自動化スクリプトを開発するでしょう。

8. ベクトルと埋め込みの脆弱性

LLMアプリケーションでは、検索拡張生成(RAG)と呼ばれる手法を通じてモデルに追加のコンテキストを提供し、モデルの出力を強化することがよくあります。RAGを介してLLMに提供されるコンテンツは生のテキストではなく、メタデータとコンテンツが埋め込まれた、前処理済みのベクトルです。OWASPによると、「ベクトルと埋め込みの生成、保存、取得方法における弱点は、悪意のある行為(意図的か否かを問わず)に悪用され、有害なコンテンツの注入、モデル出力の操作、機密情報へのアクセスにつながる可能性があります」。つまり、攻撃者はRAGのコンテンツとその処理を標的にして、LLMシステムを攻撃できます。

企業は、組織固有のニーズを満たすために独自のプロセスを実装し、RAGコンテンツの範囲を定義します。そのため、コンテンツとその欠陥は組織ごとに異なります。攻撃者にとって、こうした欠陥の発見は容易ではなく、自動探索、つまりボットの使用が不可欠です。

9. 誤情報

LLMが誤った情報や誤解を招く情報を生成すると、その情報に依存するシステムが誤動作し、セキュリティ侵害、評判の低下、法的責任につながる可能性があります。LLMは、ハルシネーション(幻覚)や、トレーニングデータの偏りや不足によって誤情報を生成することがあります。

ハルシネーションを悪用しようとする攻撃者は、プロンプトの入力と応答の分析を自動化する可能性が高いと考えられます。たとえば、コード生成プロセス、つまりLLMを使用して大量のコンピューターコードを生成する処理を自動化することで、実際には存在しないソフトウェアライブラリへの参照を見つけることができます。その後、攻撃者は、LLMが誤って示したコードリポジトリに悪意のあるソフトウェアライブラリを作成できます。LLMが生成したコードが十分にレビューされなければ、その悪意のあるライブラリがリリース製品に組み込まれることになります。

攻撃者は同様に、モデルにバイアスを生じさせることを目的とした大量のデータを意図的に入力し、ボットを使ってトレーニングデータを操作する可能性があります。

10. 無制限のリソース消費

OWASP LLMの10番目の脆弱性である「無制限の消費」は、OWASP APIの脆弱性である「無制限のリソース消費」およびOWASPの自動化された脅威である「サービス拒否」と非常によく似ています。攻撃者が想定を大幅に上回る数のリクエストを送信すると、推論サービスでサービス拒否、パフォーマンス低下、過剰なコストが発生します。OWASPによると、「LLMは、特にクラウド環境において高い計算能力を必要とするため、リソースの悪用や不正使用の影響を受けやすくなります」。攻撃者は、想定される使用量を超えるために、ほぼ確実にボットを使用してリクエスト量を増大させます。

ボット対策の実装

多くの組織がAI機能の迅速な市場投入を迫られる一方、LLMのセキュリティへの影響が十分に解明されていないため、LLMベースのアプリケーションだけでなく、LLMモデルにデータを供給するアプリケーションにも、その前段でボット対策を導入することを検討すべきです。攻撃者が仕掛けられる攻撃が多いほど、成功する可能性も高まります。F5は、特に効果的なボット対策サービスであるF5 Distributed Cloud Bot Defenseを提供しています。このサービス自体もAIを基盤としており、ボットや自動化を利用してLLMアプリケーションを狙う攻撃者に対し、組織が優位に立てるよう支援します。

詳細はこちら:Distributed Cloud Bot Defense

共有
タグ: 2024

関連するブログ記事

F5 Application Study Tool:OpenTelemetryによるF5 BIG-IP環境の監視
F5エコシステム | 2025/04/15

F5 Application Study Tool:OpenTelemetryによるF5 BIG-IP環境の監視

F5の新しいオープンソースツールは、BIG-IP環境を詳細に可視化し、データを追跡するとともに、強力でカスタマイズ可能なインサイトを得るための基盤を提供します。

F5 BIG-IPでAI防御を実現
F5エコシステム | 2024/11/13

F5 BIG-IPでAI防御を実現

F5 BIG-IP Advanced WAF、BIG-IP APM、BIG-IP SSL Orchestratorが、生成AIアプリ向けに包括的なセキュリティソリューションを提供する仕組みをご覧ください。

F5 Advanced WAFによるGraphQL APIの保護
F5エコシステム | 2021/08/31

F5 Advanced WAFによるGraphQL APIの保護

ここ数年、多くの組織がデジタルトランスフォーメーションを進めており、COVID-19のパンデミックによってその動きは加速しています。

アプリケーションサービスの現状 通信業界版:リーダーとしての台頭
F5エコシステム | 2019/02/19

アプリケーションサービスの現状 通信業界版:リーダーとしての台頭

通信ネットワークが進化し、さまざまな業界の幅広いユースケースに対応するなか、通信業界の回答者がテクノロジーリーダーとしての存在感を高めていることがわかります。

デジタルトランスフォーメーションは、単なるペーパーレス化ではない
F5エコシステム | 2017/07/10

デジタルトランスフォーメーションは、単なるペーパーレス化ではない

デジタルトランスフォーメーションは、単なるペーパーレス化ではありません。真のモダナイゼーションにアプリケーションアーキテクチャとセキュリティの再構築が必要な理由を、F5ブログでご覧ください。

やめましょう。もう本当にやめましょう。HTTPSはHTTPより高速ではありません。
F5エコシステム | 2016/09/19

やめましょう。もう本当にやめましょう。HTTPSはHTTPより高速ではありません。

もうやめましょう。HTTPSはHTTPより高速ではありません。プロトコルのパフォーマンスに関する微妙な違いと、暗号化トラフィックを適切に最適化する方法については、F5ブログをご覧ください。