新たなボット戦争：あなたの知る誰もが偽物かもしれない

Lori Mac Vittie特別技術者兼チーフエバンジェリスト | F5

かつて、ボットファームは笑い話にすぎませんでした。数千件のスパムアカウント、不自然な英語、稚拙なエンゲージメント獲得手法。見破るのも、相手にしないのも簡単でした。

今はもう違います。

現在、ボットファームは産業規模で運営され、数千台もの実物のスマートフォンを使って、実在するユーザーのように振る舞うスクリプト化されたアカウントを稼働させています。こうしたアカウントは、プラットフォームのエンゲージメントアルゴリズムが反応する程度に「いいね」、シェア、コメントを行います。

これはハッキングではありません。システムを設計どおりに利用しているだけです。ただし、より高速かつ大規模で、システムが前提としていた真正性を欠いています。

投稿が注目を集め始めると、XやMetaなどのプラットフォームがさらに拡散します。増幅されるのは正確性ではなく、エンゲージメントです。Xの2023年透明性レポートからも明らかなように、反響を呼ぶコンテンツほど優先的に表示されます。MLベースの検知システムが導入されていても、AI駆動型ボットはオーガニックトラフィックに違和感なく溶け込みます。

そこからは、実際のユーザーが拡散を引き継ぎます。多くの人の目に触れることで、正当な情報だと受け取られるようになります。人気があるように見えるものは、信頼できると感じられるのです。

偽のエンゲージメントが錯覚を生み、実在する人々がその火を燃え広がらせます。そしてAIによって、その火の出どころはかつてないほど追跡しにくくなっています。

AIの影響

かつてボットファームでは、大勢の作業員が同じような投稿を繰り返し発信する必要がありましたが、今ではAIツールによって、一貫性があり、多様で、非常に信憑性の高いコンテンツを生成できます。NewsGuardの2023年レポートによると、AIが生成したプロパガンダは、地域特有の言葉遣いや感情表現に至るまで、本物のコメントとの見分けがますますつきにくくなっています。

もはや粗悪なコンテンツではありません。もっともらしく、文脈に即し、状況に応じて反応します。草の根の支持に見えますが、実際には産業規模で作り出された影響工作です。

そして、プラットフォームは今なお、そうしたコンテンツを優遇しています。真偽を見極めるためではなく、反響を得たものを拡散するように設計されているからです。

モデレーションツールと人間のレビュアーによる対応が追いついていません。組織的な不正行為への対策に関するMetaの2024年版レポートでは、こうした組織的なキャンペーンをリアルタイムで検出することが、いかに困難になっているかが強調されています。

これは一部に限られた問題ではありません。政治、マーケティング、金融投機、さらにはブランドへの信頼にも影響します。2021年には、米国証券取引委員会が、ソーシャルメディアを通じた相場のつり上げについて警告しました。その背景にはボットの存在がありました。

一方、可視性やエンゲージメントに依存するシステム（トレンド一覧や「おすすめ」パネル）は、今や簡単に乗っ取られてしまいます。本来、重要な情報を目立たせるためのツールが、今では誰かが金銭を支払って重要に見せかけたものを目立たせています。

今日のボットはルールを破るのではなく、ルールに従います。人間の行動を模倣して会話を生み出し、時間をかけて信頼性を築きながら、複数のネットワークにまたがって活動します。技術ポリシーに違反しないため、検知されないことも少なくありません。

これは、より根深い欠陥を浮き彫りにしています。システムは動機ではなく、行動を評価するように設計されていました。私たちはパターンを信頼し、正常に見えれば安全だと判断していたのです。

しかし、AIは異常な振る舞いをするのではありません。あたかも正常であるかのように振る舞います。

AIがシグナルをスタックの上位層へ移行

シグナルはスタックの上位層へと移行しました。ヘッダーやレートではなく、ペイロード、コンテンツの意味、システムレベルの連携に現れています。AIが生成する影響は、従来の防御では正常に見えます。異常があるのは、もはや外形ではありません。メッセージそのものです。

この問題への対策が進められています。DARPAのSemantic Forensicsプログラムでは、意図や言語的特徴を手がかりに、AI生成コンテンツの検出に取り組んでいます。Xの2024年のアップデートでは、ボット排除の取り組み強化について言及されています。しかし、これらのシステムはまだ初期段階にあります。現時点では、AIを活用した影響工作キャンペーンを上回るほどの拡張性や応答性を備えていません。

そして今、脅威は再び進化しています。

単純なボットにとどまらず、AI駆動型エージェントも導入されつつあります。これらのエージェントは、単に自動化するだけではありません。連携し、状況に応じて方針を転換します。応答データを分析し、リアルタイムで戦術を調整します。2022年のDFRLabの調査では、国家の支援を受けたキャンペーンがAIエージェントを使用して複数のプラットフォームにわたる偽情報の拡散を組織し、検知に応じて動的に適応していたことが報告されています。

一方、正規の企業では、カスタマーサポート、マーケティング、ワークフローの自動化にエージェントを導入しています。Lyzr.aiによると、AI導入の取り組みの70%は、単なる対話型ボットではなく、アクションベースのAIエージェントに重点を置いています。

これにより、両者の境界が曖昧になります。エージェントが企業と攻撃者の双方を代弁するようになると、信頼が損なわれます。ブランドの担当者を装う偽のサポートボットは、ユーザーをフィッシングの標的にしたり、誤情報を拡散したりする可能性があります。見分けるポイントを知らなければ、本物と区別できません。

これはもはやボットの問題ではありません。真正性をめぐる危機です。

AIの進化が従来の前提を揺るがす

高度なAIツールと連携するエージェントを駆使した新たなボット戦争により、勢力図は一変しました。防御すべき相手は、単なるノイズではありません。人間らしく見えるよう作り込まれ、システムを操作できる規模に拡大され、検知をすり抜けるよう最適化された「人工的な信頼性」です。

インフラストラクチャから、アルゴリズム、セマンティクス、そして正当性があるとの認識の悪用へと攻撃の軸足が移るなか、セキュリティとスケールに関する従来の前提は崩れつつあります。

この問題を解決するには、基盤から見直す必要があります。ルールを適用するために構築されたツールは、より広範な意図の体系の一部として、行動、言語、連携したパターンを解釈できるよう進化しなければなりません。

それまでは、疑ってかかることが基本となり、信頼を取り戻すには検知だけでは不十分です。

日々利用するシステムに信頼性を取り戻し、こうした手口が企業内に浸透するのを防ぐには、プラットフォーム、企業、研究者の積極的な連携が必要です。合成された情報による影響が企業内に入り込めば、意思決定をひそかに歪め、自動化を乗っ取り、内部からユーザーの信頼を損なうおそれがあります。

著者について

Lori Mac Vittie特別技術者兼チーフエバンジェリスト | F5

Lori MacVittieは、F5のOffice of the CTOに所属するDistinguished Engineer兼Chief Evangelistであり、アプリケーションデリバリ、自動化戦略、インフラストラクチャに関する深い専門知識を有しています。AIエージェントのガードレール策定、脆弱なマルチクラウドアーキテクチャの分析、スケーラブルなシステムの限界の検証など、複雑な事柄を明快にすることで知られています。アプリケーション開発、ITアーキテクチャ、ネットワークおよびシステム運用の分野で、30年以上にわたる業界経験を有しています。F5入社前は、受賞歴のあるテクノロジー編集者として活躍していました。 MacVittieはコンピューターサイエンスの修士号を取得しており、セキュリティ、クラウド、エンタープライズアーキテクチャにわたる分野で多数の著作を発表しています。また、テーブルトークゲームとビデオゲームをこよなく愛し、チーズについては遠慮なく強いこだわりを語ります。

Lori Mac Vittieのその他のブログ記事