ボットが大規模言語モデルを攻撃する方法: OWASP LLMトップ10

1. 迅速な注入

プロンプト インジェクション攻撃は、悪意のある方法で LLM の動作を変更しようとします。OWASP によれば、これによりモデルが「ガイドラインに違反したり、有害なコンテンツを生成したり、不正アクセスを可能にしたり、重要な決定に影響を与えたりする」可能性があります。 プロンプトを通じてモデルの動作に影響を与えるには、攻撃者が多数のプロンプトを挿入し、モデルを有害なプロンプトで溢れさせて、被害を最大化するか、望ましい結果を達成するプロンプトを見つける必要があるかもしれません。 十分な数の悪意のあるプロンプトを入力するには、攻撃者は自動化用のボットを必要とします。 

2. 機密情報の開示

従業員と顧客にビジネス価値を提供する LLM を構築するための競争において、組織は組織独自の膨大なデータ ストアでモデルをトレーニングすることになります。 ただし、これらのデータ ストアには、個人データや企業秘密などの機密情報が含まれている可能性があります。 敵対者は、機密データを開示することを期待して、ほぼ確実にこれらのモデルを調査します。 また、攻撃者は探しているデータが何なのか、具体的にどのようにプロンプトを出せばいいのかを正確に把握していない可能性があるため、貴重な機密情報を開示することを期待して、多くのプロンプトを出すという強引なアプローチを取る可能性があります。 モデルに対して大量のプロンプトを実行するために、攻撃の規模を拡大しようとする攻撃者はボットを展開します。

3. サプライチェーン

他の情報システムと同様に、LLM にはトレーニング データ、基盤モデル、展開プラットフォームなどの依存関係があるため、攻撃者はサプライ チェーンを侵害することで LLM を侵害することができます。 依存関係を侵害するために、攻撃者はボットを使用して偽の情報でデータストアを操作し、クレデンシャルスタッフィングやリアルタイムフィッシングプロキシを使用して認証システムをクラックし、認証の脆弱性を探る可能性があります。

4. データとモデルの汚染

データ ポイズニングでは、攻撃者は事前トレーニング、微調整、または埋め込みデータを操作して、脆弱性、バックドア、またはバイアスを導入します。 OWASP によれば、「この操作により、モデルのセキュリティ、パフォーマンス、または倫理的な動作が損なわれ、有害な出力や機能障害につながる可能性があります。」 攻撃者がデータを操作するために使用する方法は多数ありますが、ボットは、認証や承認の突破から、ボット保護のないアプリケーションを通じてデータ ストアに偽のデータを挿入することまで、多くの攻撃タイプで共通のツールです。

5. 不適切な出力処理

不適切な出力処理とは、LLM モデルの出力がその出力に依存するシステムに損害を与える可能性があるかどうかの確認に失敗することを意味します。 サプライ チェーンの脆弱性とデータおよびモデルの汚染は、LLM モデルの上流のシステムへの侵害を指しますが、不適切な出力処理は下流のシステム、つまり LLM モデルからの出力に依存するシステムに影響を及ぼします。 OWASPによると、「不適切な出力処理の脆弱性を悪用すると、Web ブラウザーでクロスサイト スクリプティング (XSS) やクロスサイト リクエスト フォージェリ (CSRF) が発生するだけでなく、サーバー側リクエスト フォージェリ (SSRF)、権限昇格、バックエンド システムでのリモート コード実行が発生する可能性があります。」

別の見方をすると、攻撃者は LLM を使用して、LLM 出力に依存する別のアプリケーションを攻撃します。 攻撃者は、アプリケーションへの入力を慎重に作成することでこの脆弱性を悪用する可能性がありますが、自動化によってブルートフォース攻撃を試み、下流のアプリケーションに損害を与える出力を生成する入力を見つけるためにさまざまなバリエーションを試す可能性があります。 自動化では、モデルから悪意のある出力を強制し、その出力がアプリケーションに意図した悪影響を及ぼしたかどうかをテストします。 このタイプのプローブを拡張するには、ボットが必要になります。

6. 過剰な代理権

過剰なエージェンシーは、LLM ベースのシステムを通じて実行される権限昇格の一種です。 この脆弱性は、昇格された権限で実行され、関数を呼び出したり、他のシステムとインターフェースしたりできる LLM ベースのシステムに由来します。 攻撃者は、LLM ベースのシステムがどこで権限を昇格したか、またはその昇格をどのように悪用するかを知らないため、自動化を使用して複数のプロンプトを入力し、権限昇格をトリガーして悪用しようとする可能性があります。

7. システムプロンプトの漏洩

LLM 上に構築されたアプリケーションは、多くの場合、アプリケーションの要件を満たすようにモデルの動作をガイドするシステム プロンプト命令を LLM に提供します。 実際には、システム プロンプトには、データベースへの接続文字列、独自のコード、知的財産、または企業が安全に保管する必要があるその他のコンテンツなどの秘密が含まれている場合があります。 システム プロンプトの漏洩は、アプリケーションがシステム命令を不注意に公開する原因となるプロンプト インジェクションの特定の形式です。

LLM にプロンプトを通じてこれらの秘密を公開させることは簡単なことではなく、攻撃者はシステム プロンプトに埋め込まれた機密データをより効果的に調査するための自動スクリプトを開発することがほぼ確実です。

8. ベクトルと埋め込みの弱点

LLM アプリケーションは、多くの場合、検索拡張生成 (RAG) と呼ばれる手法を通じてモデルに提供される拡張コンテキストを通じて、モデル出力を強化します。 RAG を介して LLM に提供されるコンテンツは、生のテキストではなく、メタデータとコンテンツが埋め込まれた前処理済みのベクトルです。 OWASPによれば、「ベクトルと埋め込みが生成、保存、または取得される方法の弱点は、悪意のあるアクション (意図的または意図的でない) によって悪用され、有害なコンテンツが挿入されたり、モデル出力が操作されたり、機密情報にアクセスされたりする可能性があります。」 つまり、攻撃者は RAG コンテンツとその処理を狙って LLM システムを攻撃することができます。

企業は独自のプロセスを実装し、組織の特定のニーズを満たすために RAG コンテンツの範囲を定義します。つまり、コンテンツとその欠陥は組織に固有のものになります。 敵対者の観点からすると、これらの欠陥を発見するのは容易ではないため、ボットの使用を意味する自動探索が必ず必要になります。

9. 誤報

LLM が虚偽または誤解を招く情報を作成すると、その情報に依存するシステムが誤動作し、セキュリティ侵害、評判の失墜、法的責任につながる可能性があります。 LLM は、幻覚やトレーニング データの偏りやギャップにより、誤った情報を生成する可能性があります。  

幻覚を悪用しようとする敵は、プロンプトと応答の分析を自動化する可能性があります。 たとえば、コード生成プロセスを自動化する（つまり、LLM を使用してコンピュータ コードのインスタンスを多数生成する）と、攻撃者は実際には存在しないソフトウェア ライブラリへのコード参照を見つけることができます。 攻撃者は、LLM が幻覚化したコード リポジトリ内に悪意のあるソフトウェア ライブラリを作成できます。 LLM が生成したコードが適切にレビューされない場合、悪意のあるライブラリがリリースされた製品に埋め込まれることになります。

同様に、攻撃者はボットを使用してトレーニング データを操作し、モデルに偏りを与えることを目的とした大量のデータを意図的に入力することもできます。

10. 無制限の消費

10 番目の OWASP LLM 脆弱性である無制限の消費は、無制限のリソース消費と呼ばれる OWASP API 脆弱性、およびサービス拒否と呼ばれる OWASP 自動化脅威とよく似ています。 攻撃者は、予想されるリクエスト数を超過し、推論サービスでサービス拒否、パフォーマンスの低下、および過剰なコストが発生します。 OWASP によれば、「特にクラウド環境では、LLM の計算要件が高いため、リソースの悪用や不正使用に対して脆弱になります。」 予想される使用量を超えるために、攻撃者はほぼ確実にボットを使用してリクエスト量を拡大します。

ボット保護の実装

多くの組織は AI 機能を迅速に市場に投入するというプレッシャーに直面しており、LLM のセキュリティへの影響は十分に理解されていないため、LLM ベースのアプリケーションだけでなく、LLM モデルにデータを供給するアプリケーションにもボット保護を実装することを検討する必要があります。 敵がより多くの攻撃を仕掛けることができれば、成功する可能性も高まります。 F5 は、AI を基盤とする特に効果的なボット保護サービスであるF5 Distributed Cloud Bot Defense を提供しており、ボットや自動化を使用して LLM アプリケーションを標的とする攻撃者に対して組織が優位に立つのに役立ちます。

Distributed Cloud Bot Defenseの詳細をご覧ください。