情報を売って生計を立てる専門家を想像してみてください。人々は質問への回答を得るために対価を支払います。ところが突然、機械がその専門知識を吸収し、本人よりも速く質問に答えられるようになり、仕事を奪ってしまいます。生成AIの台頭により、コンテンツに依存するビジネスモデルを持つ企業は、まさにこのジレンマに直面しています。
生成AIが私たちをどこへ導くのかはまだ分かりませんが、コンテンツの消費方法を変革し、その結果、コンテンツ配信に依存する企業に破壊的な影響を及ぼすことは明らかです。これは、インターネットがニュースやエンターテインメントの消費方法を変革し、多くの従来型報道機関に壊滅的な打撃を与えたのと同様です。
生成AIによる変革は、メディア、ニュース、ストックフォトなどのコンテンツを販売する企業だけでなく、コンテンツを通じて有料広告に閲覧者を呼び込む企業にも影響を及ぼします。また、見込み客を引き付けて製品やサービスを宣伝したり、ブランドアイデンティティや顧客関係を構築したり、行動喚起によって顧客の行動を促したりする企業も影響を受けます。
検索のためのコンテンツクロールはウェブ黎明期に生まれましたが、ChatGPTのようなLLMベースのアプリは根本的に異なる仕組みで機能します。検索エンジンは元のコンテンツへのリンクとともに要約を提供し、コンテンツを見つけやすくすることで価値を付加します。一方、LLMを活用したチャットベースのアプリは、必ずしも元のコンテンツへのリンクを提供しません。むしろ、ユーザーにチャット内で追加のプロンプトを入力してさらに情報を得るよう促すため、コンテンツを作成した企業からあらゆる価値が奪われます。
組織は、robots.txtファイルだけに頼ることはできません。このファイルではクローラーの対象範囲を指定できますが、LLMのトレーニング用コンテンツを収集するすべての組織がrobots.txtファイルに従うとは限らないためです。LLMがコンテンツを単にコピーして再現しているのか、それとも他のクリエイターと同様にコンテンツを合成しているのかについては、議論が続いています。LLMによるスクレイピングに著作権法がどのように関わるかについては、現在、裁判所で審理されています。法律や規範が今後どのように変化するかを予測するのは困難ですが、組織は事業の基盤となるコンテンツをどのように保護するか、今から検討を始める必要があります。
スクレイピングは、容易ではないものの軽減できます。実際、決して新しい問題ではありません。スクレイパーは、航空会社、小売チェーン、ホテルの運賃、価格、宿泊料金をスクレイピングし、競争上重要なデータを収集しようとしてきました。こうした企業は、競争上重要なデータの流出を防ぎたいだけではありません。特に最新データを求めるスクレイパーによるトラフィック負荷は、場合によってはサイトの全トラフィックの98%に達し、パフォーマンスに影響を及ぼすだけでなく、サイトを停止させることさえあります。
スクレイパーは、ボットを使用してデータ収集を自動化します。しかし残念ながら、CAPTCHAやIPアドレス拒否リストなど、従来のボット対策は、スクレイパーボットには効果がありません。スクレイピングは一般に合法と見なされているため、CAPTCHAを回避するオンラインサービスが数多く存在します。これらのサービスは、機械学習やクリックファームを利用してCAPTCHAを解読するため、高速かつ低コストであり、あの煩わしいパズルの解読において一般の人よりはるかに効率的です。CAPTCHAに代わる最も簡単な手段であるIP拒否リストも、スクレイパー向けのサービスが存在するため効果がありません。こうしたサービスを利用すると、スクレイパーは数千万もの住宅用IPアドレスを経由してリクエストを送信できます。その数は膨大で増え続けているため、拒否リストの維持はまったく現実的ではありません。
多くのボット管理専用ソリューションでさえ、シグナル収集をインストルメンテーションに依存しているため、スクレイピングへの対応に苦慮しています。典型的な例がログインです。まず、ブラウザがHTTP GETリクエストを送信し、ログインフォームを含むWebページを取得します。そのページではJavaScriptがバックグラウンドで実行され、ブラウザに関するデータや、ユーザーの入力およびマウス操作のパターンを収集します。ユーザーが認証情報を送信すると、JavaScriptがシグナルデータをHTTP POSTリクエストに挿入します。リバースプロキシとして動作するボット管理ソリューションは、このリクエストをインターセプトして分析し、リクエスト元のエージェントがボットかどうかを判定します。
しかし、多くのコンテンツサイトでは、ブログ記事、ニュース、価格情報などのコンテンツにアクセスする際に、GETとPOSTを組み合わせる必要がありません。1回のHTTP GETリクエストだけでスクレイパーが求めるすべての情報が返されるため、インストルメンテーションを行う機会が失われます。
多くのボット管理ソリューションではスクレイピングを防げないことがわかっています。その理由は、スクレイピング対象のコンテンツにAPIで簡単にアクセスできる複数のサービスが存在するためです。たとえば、ZenRowsは、回避可能なボット対策ベンダーを一覧で示しています。
幸い、F5 Distributed Cloud Bot Defenseは、インタースティシャルと呼ばれる手法でこの問題を解決します。インタースティシャルとは、すばやく読み込まれてデータを迅速に収集した後、リクエストされたページのコンテンツを読み込むページです。F5は、大手航空会社や小売企業をスクレイピングから数年にわたって保護してきた経験を基に、この手法を高速かつ効率的で効果の高いものへと改良してきました。インタースティシャルが実行されるのは、ユーザーセッションごとに1回だけです。エージェントが人間であると識別されれば、リプレイ攻撃の悪用を防ぐ場合を除き、それ以降のチェックは不要になるためです。
現在利用可能なボット管理ソリューションの中で最も効果的なDistributed Cloud Bot Defenseは、LLMモデル構築を目的としたコンテンツのスクレイピングに対し、コンテンツ制作者に最善の防御策を提供します。コンテンツとビジネスを保護したい組織にとって、Distributed Cloud Bot Defenseは最適な選択肢です。
関連するブログ記事
F5 Application Study Tool：OpenTelemetryによるF5 BIG-IP環境の監視
F5の新しいオープンソースツールは、BIG-IP環境を詳細に可視化し、データを追跡するとともに、強力でカスタマイズ可能なインサイトを得るための基盤を提供します。
F5 BIG-IPでAI防御を実現
F5 BIG-IP Advanced WAF、BIG-IP APM、BIG-IP SSL Orchestratorが、生成AIアプリ向けに包括的なセキュリティソリューションを提供する仕組みをご覧ください。
F5 Advanced WAFによるGraphQL APIの保護
ここ数年、多くの組織がデジタルトランスフォーメーションを進めており、COVID-19のパンデミックによってその動きは加速しています。
アプリケーションサービスの現状 通信業界版：リーダーとしての台頭
通信ネットワークが進化し、さまざまな業界の幅広いユースケースに対応するなか、通信業界の回答者がテクノロジーリーダーとしての存在感を高めていることがわかります。
デジタルトランスフォーメーションは、単なるペーパーレス化ではない
デジタルトランスフォーメーションは、単なるペーパーレス化ではありません。真のモダナイゼーションにアプリケーションアーキテクチャとセキュリティの再構築が必要な理由を、F5ブログでご覧ください。
やめましょう。もう本当にやめましょう。HTTPSはHTTPより高速ではありません。
もうやめましょう。HTTPSはHTTPより高速ではありません。プロトコルのパフォーマンスに関する微妙な違いと、暗号化トラフィックを適切に最適化する方法については、F5ブログをご覧ください。