AIセキュリティとは

F5 Newsroom Staff

人工知能（AI）は、2022年後半のChatGPTの登場を機に日常的に使われる言葉となりました。一方、AIセキュリティは比較的新しい概念で、十分に理解されておらず、サイバーセキュリティの専門家からも見過ごされたり、軽視されたりすることが少なくありません。今こそ、AIセキュリティとは何か、AIが直面する脅威、そして企業全体でセキュアなAI環境を構築するためのアプローチについて、曖昧さや誤解を解消するときです。

新たな攻撃対象領域

AIセキュリティとは、組織のAIシステム、データ、運用を不正アクセス、改ざん、悪意のある攻撃、その他のデジタル脅威から保護するために、堅牢な対策とポリシーを戦略的に導入することです。AIツールを導入する組織にとって、AIの利用戦略にセキュリティを組み込むことは極めて重要です。AI搭載アプリケーションをはじめ、デジタルシステムに新たなコンポーネントを追加するたびに、脅威アクターがシステムに侵入したり損害を与えたりするために悪用できる「攻撃対象領域」が拡大するためです。 

ChatGPTなどの統計モデルや大規模言語モデル（LLM）をはじめ、デジタルインフラストラクチャに追加されるAI駆動型の要素を保護することは、システムの完全性、プライバシー、信頼性を維持するとともに、顧客からの信頼を高め、組織の評判を守るうえで不可欠です。意思決定、業務、機密性の高い顧客対応にAIツールやソリューションを利用する組織が増える中、これらのツールの信頼性を維持し、外部の脅威や内部の脆弱性から確実に保護するには、強固なAIセキュリティ戦略が極めて重要です。

AIモデルのリスク

LLMは、単なる気の利いた玩具と見なされるものから、強力なツールと評価されるものまで多岐にわたります。しかし実際には、組織の重要な情報インフラに新たに加わった要素であり、脆弱性を抱える攻撃対象領域として扱う必要があります。LLMのリスクに関する初期の議論では、データ損失や不適切な利用など、人間の行動に起因する脅威の特定と対策が主な焦点でした。しかし、より深刻なのは、モデルやそのデータセットに対するステルス攻撃です。こうした攻撃は、引き起こし得る被害だけでなく、対象範囲、規模、手口の巧妙さも増しており、検知がますます困難になっています。ここでは、LLMやその他の生成AI（GenAI）モデルを導入する企業にとって、特に重大な脅威となる3種類の攻撃について概説します。

ジェイルブレイク／プロンプトインジェクション

ジェイルブレイクまたはプロンプトインジェクションの手法は、危険、違法、不道徳、非倫理的、または一般的な社会規範に反すると見なされる情報をLLMから引き出そうとするものです。2023年3月にChatGPT-4がリリースされてから約2時間後には、ジェイルブレイクに成功し、憂慮すべきさまざまな反社会的行為の手順をシステムに提示させる事例が確認されました。 

それ以来、多くの脅威アクターが、ロールプレイ、予測テキスト、逆心理などの手法を取り入れ、慎重に言葉を選んだ非常に詳細なプロンプトを作成し、LLMに応答を規制する内部コンテンツフィルターや制御を回避させようとしてきました。LLMなどのGenAIシステムに対するジェイルブレイク攻撃が成功した場合、保護対策を無視する、破壊的な操作を行うといった不正な命令をモデルが実行しないようにする安全策が破られる危険があります。許容される利用と許容されない利用の境界が失われると、モデルが新たな命令に従うのを阻止する安全策は、それ以上機能しません。

データポイズニング

ポイズニング攻撃は、モデル、モデルのトレーニングデータ、または組織内のセキュリティで保護されていないデータソースを標的とする可能性があります。その目的は、モデルが生成する結果や予測を歪めることです。その結果、組織が誤った結果を信頼し、損害につながりかねない不適切な意思決定を行ったり、誤りや不正確な情報を広めたり、モデルの出力に基づいてその他の不適切な行動を取ったりするおそれがあります。

• データポイズニング攻撃は、モデルのトレーニングデータセットを標的とします。脅威アクターは、データを改変または操作したり、悪意のあるデータ、誤ったデータ、偏ったデータ、その他の不適切なデータを追加したりすることで、モデルの出力を歪めます。 
• モデルポイズニング攻撃はモデル自体を標的とします。脅威アクターは、誤った出力を確実に生成させるために、モデルまたはそのパラメーターを改変します。 
• バックドア攻撃は2段階で行われます。まず、脅威アクターがモデルのデータセットに悪意のあるデータを追加して操作し、トリガーされるまではモデルに一切影響を与えない潜在的な脆弱性を作り込みます。次に、その脆弱性を有効化することで、攻撃者は任意のタイミングで組織に損害を与えられるようになります。

敵対的AI

敵対的攻撃は、モデルがデプロイされ、利用されている段階で発生します。攻撃の手法はさまざまですが、いずれも検知が難しく、非常に危険です。

• モデル反転攻撃では、モデルの出力を調べ、モデル自体やそのトレーニングに使用されたデータセットに関する機密情報を明らかにします。これにより、プライバシー侵害につながる可能性があります。
• メンバーシップ推論攻撃では、脅威アクターが、特定の個人に関する情報などの特定のデータポイントがトレーニングデータセットに含まれていたかどうかを推測しようとします。攻撃が成功すると、プライバシーが著しく侵害されます。
• モデル窃取攻撃では、通常、商業的利益を得るために元のモデルを複製することを目的として、学習済みモデルの出力を精査し、その知的財産を盗用またはコピーします。
• ウォーターマーキング攻撃では、学習済みモデルのパラメーターを変更して、モデルの所有者を「証明」するために使用できる隠しパターンを埋め込みます。これにより、多額の金銭的損失や競争優位性の喪失につながる可能性があります。
• モデル推論攻撃では、モデルの出力を調べて、トレーニングデータやモデルのパラメーターに関する機密情報を特定します。これにより、プライバシー侵害につながる可能性があります。

ソリューション

LLMなどの新しいAIテクノロジーに対応するには、革新的な保護戦略と導入手法を継続的に開発する必要があります。既知および新たな脅威に対処するセーフガードを先回りして導入することが、企業全体でLLMを大規模に実装できるセキュアな環境を構築するための唯一の合理的なアプローチです。 

当社のプラットフォームは、ロールプレイ、仮想的な会話、世界観の構築、逆心理などの言語パターンやカテゴリーを分析し、許容される利用ルールに違反しようとするプロンプトを特定することで、システム制御を無視または回避しようとするユーザーから組織を保護します。

また、送受信されるコンテンツをスキャンし、有害、偏向的、またはその他の許容できない内容が含まれていないかを確認します。内容を変更しない限りプロンプトは送信されないことがユーザーに通知されます。また、詳細なプロンプト履歴により、該当するプロンプトとその作成者を監査できます。さらに、組織の文書で使用するコンテンツが正確かつ事実に基づいていることを確認するため、モデルから返された情報について人による検証を必須にするよう、管理者が設定できます。

まとめ

AI主導のビジネス環境が急速に進展する中、AIセキュリティプロトコルを理解し、導入することは、企業にとって中核的な課題となりつつあります。AIセキュリティツールを既存のフレームワークに統合することで、新たな脅威にリアルタイムで柔軟に適応し、AIシステム、データ、業務を強固に保護するとともに、意思決定者の安心にもつながります。つまり、AIセキュリティにより、サイバー犯罪者や競合他社の一歩先を行くことができます。

著者について

F5 Newsroom Staff

F5 Newsroom Staffのその他のブログ記事