AIジェイルブレイク攻撃とは

AIシステムに組み込まれた保護機能を回避し、通常では実行しないアクションを実行させたり、生成しないコンテンツを生成させたりすることを目的とした悪意のあるエクスプロイト

ジェイルブレイク攻撃とは、AIシステムに組み込まれた安全対策を回避するよう設計された悪意のあるエクスプロイトです。その目的は、システムに不正確または有害な出力を生成させたり、許可されていない操作を実行させたりすることです。ジェイルブレイクは、モデルの安全制御を回避することに特化したプロンプトインジェクションの一種です。一方、プロンプトインジェクションは、より広義には、悪意のある指示や信頼できない指示を通じてモデルの動作を操作します。

一般的なジェイルブレイクの手法と攻撃経路

攻撃者は、ジェイルブレイクにさまざまな手法や攻撃経路を使用します。代表的な手法は次のとおりです。

ロールプレイとペルソナの操作：攻撃者はAIモデルへのプロンプトを通じて、組み込みの安全対策を無視するペルソナを演じるようモデルに指示します。たとえば、「DAN」（「do anything now」）というペルソナを演じるようモデルに指示し、プロンプトに対して無検閲の応答を返させようとする場合があります。同様に、「AIM」（「always intelligent and Machiavellian」）というペルソナは、倫理的な境界を越えた非道徳的な回答を生成させるために使用されてきました。

難読化とエンコーディング： このジェイルブレイク手法は、悪意のあるペイロードを、テキストベースの安全性フィルターや分類器をすり抜ける形式に変換しようとするものです。攻撃者は、自然言語の代わりにBase64コード、暗号（アルゴリズムを使用して通常のコンテンツをずらしたり置き換えたりするもの）、不可視文字、他の文字体系の文字などを使用してきました。こうした変更はモデルにはデコードして読み取れますが、安全性フィルターには読み取れません。

肯定応答の強制：プレフィックスインジェクションまたは強制補完とも呼ばれるこの手法は、「もちろん、お手伝いできます！」のような肯定的な文言で各応答を開始するようモデルに強制します。モデルがその応答を生成すると、確率的な仕組みにより、通常であれば拒否する要求であっても、後続の要求に応じる可能性が高まります。

コンテキストフラッディング：コンテキストスタッフィングやアテンションサチュレーションとも呼ばれるこの手法では、攻撃者はプロンプトに大量の無害なテキストやランダムデータを含めます。大量の追加コンテキストによって、それ以前の指示の影響が弱まったり妨げられたりするため、モデルが安全上の制約に一貫して従うことが難しくなる可能性があります。

脅威の進化

当初、AIのジェイルブレイクは主に大規模言語モデル（LLM）を標的としており、その有害な結果は不適切なテキスト応答にほぼ限られていました。しかし、さまざまなタスクを自律的に処理するAIエージェントを導入する組織が増えるにつれ、攻撃者は標的をAIエージェントへと移しています。

AIエージェントのジェイルブレイクは、企業に深刻な影響を及ぼす可能性があります。たとえば、ジェイルブレイクされたAPIアクセス権を持つエージェントは、機密データの窃取、データベースファイルの削除、不正な金融取引の実行、企業アカウントからのフィッシングメッセージの送信、重要なシステムの停止などを引き起こすおそれがあります。

攻撃者自身もAIを利用し、ジェイルブレイクの成功率を高めるエージェントの脆弱性を探しています。たとえば、大規模推論モデル（LRM）を使用して脆弱性を発見しています。その後、それらのLRMを活用した自動レッドチーミングエージェントを導入し、エージェントの脆弱性を継続的にテストできます。

従来のセキュリティでは不十分な理由

Webアプリケーションファイアウォール（WAF）などの従来型セキュリティソリューションでは、主に2つの理由からAIのジェイルブレイクを十分に防止できません。第1に、WAFは構造化データやコードを調べ、既知の脅威パターンを検出します。しかし、ジェイルブレイクでは、攻撃者が自然言語のプロンプトを使用して、モデルやエージェントにアクションを実行させます。WAFは、その自然言語の意味を解釈できません。さらに、WAFが主に検査するのはHTTPアプリケーショントラフィックであり、AIシステムが取り込む可能性のあるすべてのコンテンツソースを可視化できるわけではありません。

AIアプリケーションとエージェントを防御する方法

AIアプリケーションとエージェントをジェイルブレイクから防御するには、多層的な戦略が必要です。次の4つの重要な対策が、その戦略の構築に役立ちます。

1. 入出力の両方にガードレールを実装する：入力ガードレールでは、難読化やエンコードが施されていないかプロンプトを検査し、ロールプレイを試みるプロンプトを除外できます。一方、出力ガードレールでは、生成された出力がユーザーに届く前、かつモデルがAPI呼び出しを実行する前に、その出力を評価できます。この評価では、ヘイトスピーチ、データ漏えい、不正なツール呼び出しなどを検出対象にできます。

2. センチネルモデルまたはモデレーションモデルを導入する：モデル自体に安全性を評価させる代わりに、組織は分類用に設計された軽量な「センチネル」モデルまたはモデレーションモデルを導入できます。これらのモデルは、入力と出力の両方を検査し、プロンプト内のハイジャックの試みを特定するとともに、生成された出力がヘイトスピーチやハラスメントなどに関する社内ポリシーに違反しているかどうかを判定できます。

3. システムプロンプトへの忠実性を確保する：システムプロンプトへの忠実性とは、プロンプトが逸脱したり、ほかの指示によって上書きされたりすることなく、システム指示に従う度合いを指します。組織は、ユーザーとの対話中に中核となるシステム指示を繰り返す（コンテキストフラッディングへの対策となります）、指示の階層をファインチューニングして、システム指示を無視するよう求めるユーザーコマンドをモデルが拒否するようにするなど、複数の手法でシステムプロンプトへの忠実性を確保できます。

4. エージェントに最小権限のAPIアクセスを適用：ジェイルブレイクされたAIエージェントは、特に重要なシステムに接続されている場合、企業に重大な損害をもたらす可能性があります。組織は、最小権限のAPIアクセスを適用することで、エージェントのジェイルブレイクによる潜在的な損害を抑えられます。エージェントがアクセスできるのは、タスクの完了に必要な特定のAPIのみに限定する必要があります。

よくあるご質問

AIモデルが無害な質問を拒否する（「偽陽性」が生じる）のはなぜですか？

AIモデルは、無害なユーザーの質問への回答を拒否することがあります。このような拒否は「偽陽性」または「過剰拒否」と呼ばれます。プロンプトに、別の文脈では危険を示すトリガーワードが含まれていたり、モデルに特定のペルソナを演じるよう求めるなど、ジェイルブレイクの試みを示唆する表現が含まれていたりする場合があります。また、回答すると有害なリクエストが生成される可能性が高く、回答を拒否するよりも望ましくない結果になるとモデルが判断する場合もあります。

キャラクターのロールプレイは、どのように安全対策を欺くのでしょうか？

キャラクターのロールプレイは、悪意を一見無害な文脈に紛れ込ませることで、安全性を確保するためのガードレールを欺きます。ガードレールがプロンプトを単なる創作上の演習と判断すると、有害なものとして分類しません。一方、モデルはリソースを役割になりきるという指示への対応に振り向け、安全ルールの適用に割くリソースが減少します。

「DAN」プロンプトとユニバーサルジェイルブレイクの違いは何ですか？

悪名高い「DAN」プロンプトとは、安全ルールを無視して（「今すぐ何でもする」）、ユーザーが与えた指示にそのまま従うペルソナを採用するようモデルに指示するロールプレイ手法です。一方、ユニバーサルジェイルブレイク攻撃では、コンピューターアルゴリズムを使用して、任意のプロンプトに追加するとモデルの安全ルールを無効化する文字列を生成します。

AIシステムのジェイルブレイクには、どのような法的リスクと責任が伴いますか？

AIシステムのジェイルブレイクは、そのシステムを運用する組織にさまざまなリスクや法的責任をもたらす可能性があります。たとえば、機密性の高い顧客データの漏えい、虚偽情報の拡散、コンプライアンス違反、自律型エージェントによる各種の違法行為につながるおそれがあります。組織は、規制当局による罰金、訴訟、さらには刑事訴追を受ける可能性があります。

APIの安全設定で、ジェイルブレイクの試みを完全に阻止できますか？

いいえ、APIの安全性設定だけでは、ジェイルブレイクの試みを完全に阻止することはできません。攻撃者は、Base64エンコーディングや同様の難読化手法を使用してAPIフィルターを回避できます。また、APIフィルターでは、通常のテキストを装った指示を検出できないことがよくあります。さらに、サードパーティのコンテンツに隠された間接的なジェイルブレイクの試みは、特に検出が難しい場合があり、外部コンテンツや取得したコンテンツに対する追加の制御が必要です。

推論時およびランタイムにAIシステムとアプリケーションを保護するにはどうすればよいですか？

推論時およびランタイムにAIシステムを保護するには、やり取りの発生時にプロンプト、応答、エージェントのアクション、ツールの使用状況を検査する制御が必要です。AIに特化したランタイムセキュリティは、プロンプトインジェクションのブロック、機密データの漏えい防止、ポリシーの適用に加え、モデルやエージェントがユーザー、データ、API、接続されたツールとやり取りする方法の管理に役立ちます。

エンタープライズAIセキュリティを支援するF5の機能

F5 AI Guardrailsは、ランタイムポリシーの適用を支援し、プロンプトインジェクション、データ漏えい、有害な出力、安全でないエージェントのアクションなどのリスクから保護します。F5 AI Red Teamは、攻撃者に発見される前に脆弱性や弱点を特定するため、敵対的テストを実施します。F5 AI Gatewayは、モデル、エージェント、ツールへのアクセスを管理する一元的な制御ポイントを提供します。また、F5 Workforce AI Securityは、企業全体で承認済みおよび未承認のAIがどのように利用されているかを可視化します。これらの機能は、F5 AI Security Platformの一部を構成します。さらに、アプリケーション、API、分散環境を幅広く保護するため、F5 Application Delivery and Security Platform (ADSP)は、WebアプリケーションとAPIの保護、ボット管理、DDoS緩和、アプリケーションデリバリーなどの機能も統合します。