AIのセキュリティ確保：封じ込めるべき潜在的脅威

DeepSeek、ChatGPT Deep Research、米国の5,000億ドル規模の Stargate 計画など、今やAIを取り巻く驚異的な勢いに追いつくのは容易ではありません。かつてはSpotifyのレコメンデーションやSnapchatのフィルターを支えるエンジンにすぎないと見られていたAIですが、新時代の生成AIと エージェント型AI は現在、迅速な調査から診断の迅速化、創薬に至るまで、画期的なユースケースを実現しています。

エージェント型AIの時代が定着し、AIエージェントが人間の指示を受けて自律的にタスクを遂行するようになるにつれ、こうした傾向は確実に加速するでしょう。実際、Boston Consulting Groupが最近実施したAI Radar調査では、経営幹部1,803人のうち31%が、2025年にAIへ2,500万ドル超を投じる予定であることが明らかになりました。

この数字を計算してみましょう。約600社が、今年だけでAIに1社当たり少なくとも2,500万ドル、総額150億ドルを投じると回答していることになります。むしろ、控えめな見積もりに見えます。

BCGが19市場の12業種を対象に実施した調査では、経営幹部の4分の3がAIを戦略上の優先事項の上位3つに挙げました。一方、2024年の「McKinsey Global Survey on AI」に参加した1,363人のうち、72%が少なくとも1つの業務機能ですでにAIを導入していると回答し、50%は2つ以上の業務機能で導入していると回答しました。

潜伏する脅威

しかし、このように変化の激しい世界では、新たなユースケースが生まれるたびに、脅威アクターにとって新たな攻撃対象領域が広がります。昨日は安全だったものが、明日も安全とは限りません。脅威はすでに顕在化しているものの、セキュリティへの配慮は、企業におけるAIアプリケーションへの強い需要に追いついていません。

多くのCISOと話をする中で、組織へのAI導入を進めているにもかかわらず、自社が置かれているリスク状況に無頓着で、無関心ともいえる姿勢を示す方もいます。当然ながら、規制の厳しい業界では、その姿勢も変わります。

初期のAIシステムで広く報じられた失敗は、誰もがよく知るところです。たとえば、配送会社の悪態をつくチャットボットが自社を批判した事例、架空の記事を作り出したニュースアグリゲーター、裁判にまで持ち込まれた判例のハルシネーションなどです。Amazonでさえ、AIショッピングアシスタントのRufusが基盤となるLLMへのアクセスを無償で許可していたため、修正を余儀なくされました。Amazonはブランド毀損に加え、いたずら目的のプロンプトを処理するコストも負担することになりました。

最も深刻な事例では、Character.AIが民事訴訟に直面しています。14歳の少年が同社のロールプレイングチャットボットと長時間にわたって会話した後、自ら命を絶ったためです。このチャットボットは、少年に自殺する計画があるか尋ね、自殺を促すような応答をしたとされています。

概して、こうしたインシデントは不運な異常事例として扱われています。しかし、むしろAIでは悪意ある介入がなくても問題が起こり得ることを示す「断層」、すなわち警告として捉えるべきです。悪意が加われば、被害が生じる可能性はさらに高まります。

振戦検出

セキュリティコミュニティでは、噴火前の揺れにも似た、活発な脅威の兆候がすでに確認されています。 OpenAIの最新の脅威レポート では、中国を拠点とするとみられる攻撃者SweetSpecterが、攻撃的なサイバー作戦を支援する目的でChatGPTの利用を試みた事例が報告されています。その活動には、さまざまなアプリケーションの脆弱性についてモデルに質問することや、ブロックを回避できるメール添付ファイルの「適切な」名前を求めることが含まれていました。

同時に、この攻撃者は、マルウェアに感染した添付ファイルを含むフィッシングメールを、OpenAI従業員の業務用および個人用アカウントや、世界各国の政府機関に送信しました。これはOpenAIだけの問題に思えるかもしれませんが、基盤モデル上でアプリケーションを構築するすべての人、そしてモデルベースのアプリケーションを利用する無数の企業も注視すべき問題です。

一方、最新のHP Wolf Securityの脅威インサイトレポートでは、GenAIを利用して作成された「可能性が非常に高い」スクリプトを使用するマルウェアキャンペーンが初めて検出された事例について詳しく説明しています。スクリプトの構造、コメント、関数名や変数名の選び方から、脅威アクターがGenAIを使用してマルウェアを作成したことが示唆されています。

HP Wolfチームは次のように指摘しています。「この活動は、GenAIが攻撃を加速させ、サイバー犯罪者がエンドポイントを感染させるハードルを下げていることを示しています。」AIが持つ同じ能力は、善用できる一方で、脅威アクターによって悪用され、甚大な被害をもたらす可能性があり、実際に悪用されるでしょう。

拡大する攻撃対象領域

今後、AIが主要分野となることは明らかです。世界のAIスタートアップへのベンチャー投資額は1,315億ドルに達し、昨年は2023年比で52%増加しました。2024年第4四半期には、世界のベンチャーキャピタル投資額の半分以上がAI企業に投じられました。

こうした新興企業は将来を見据え、継続的に改善を重ねながら新製品を次々と市場に投入しています。一方、あらゆる業界の組織が、AIの可能性を追求するよう迫られています。何一つ固定的でも標準的でも予測可能でもない世界では、攻撃対象領域が拡大し続け、セキュリティ態勢に対処すべきギャップが生じています。

AIを積極的に導入していない組織であっても、潜在的な脅威を認識しておく必要があります。これまで見てきたように、AIシステムは、フィッシング、ブルートフォース攻撃、動的マルウェア、サービス拒否攻撃といった従来型の脅威を加速させるために利用される可能性があります。

新たなAIセキュリティ環境では、主に実行時のAIを標的とする静的脅威やエージェント型脅威に加え、運用上の攻撃も生じています。直接的および間接的なプロンプトインジェクションによってAIアプリケーションが操作され、セキュリティとコストに関する懸念が高まる可能性があります。

現在利用可能な世界最高水準のモデルは、いずれもある程度「攻略」され得ることがすでに分かっています。新しいリリースが登場し、AIの導入が進む中、警戒は任意ではなく不可欠です。

噴火を回避する

AIシステムは本質的に動的であるため、新たな脆弱性が予期せず発生する可能性があり、実際に発生します。AIに特化した多層的なセキュリティプロトコルがなければ、どれほど堅牢なシステムでも機能不全に陥るおそれがあります。AIへの投資を保護するには、防御的なセキュリティ機能と攻撃的な対策を組み合わせ、脆弱性をプロアクティブに特定する必要があります。

火災が発生してから消防に頼るのではなく、組織には将来起こり得る火災を検知するための設備が必要です。AIモデルとアプリケーションに対するペネトレーションテストと レッドチーミング により、システムの周囲に防御境界を設け、潜在的な脅威が顕在化するのを防ぐことができます。

メッセージは明確です。現時点でAIの導入を予定していなくても、脅威アクターはすでに先行しており、既存のセキュリティ上の懸念にも影響が及んでいます。AIの未来は、AIを保護できるかどうかにかかっています。これは一部の人だけでなく、すべての人に関わる問題です。