Webスクレイピング（価格スクレイピング、ハーベスティング、マイニング、ミラーリング、スクレイパー ボットとも呼ばれる）とは、データを他の場所で再利用するために、自動化ツールを使用してターゲット アプリケーションから大量のデータを収集することを指します。
スクレイピングは、リクエストのソース、目的、頻度に応じて、正当なものから悪質なものまでさまざまです。例えば、サイトのrobot.txtで定義されているスクレイピング率を守っている検索エンジン ボットは許容範囲内とみなされますが、競合他社からの日々の価格スクレイピングは不要なものとみなされる可能性が高くなります。
スクレイパーは航空会社のインフラストラクチャ コストを増加させ、収益管理にも影響を与えていたため、セキュリティ チームはF5に助けを求めました。
攻撃者は、自動化されたツールや既製のスクリプト、あるいはScraping-as-a-Serviceのプロバイダを利用して、価格、キャンペーン、記事、メタデータなどのWebサイトのコンテンツを発見し、スクレイピングするスクリプトを簡単に作成することができます。
攻撃者がユーザーを装うために利用するテクニックを、Gartner ResearchのディスティングウィッシュトVPアナリストが解説します。
スクレイピング キャンペーンは、攻撃者のスキルセットや目的に応じて、大胆なものから密かなものまでさまざまです。スクレイピング スクリプトの実行は、企業の全ユーザーのトラフィック パターンに紛れ込ませるために、数百から数千のサーバーに分散して行われることがあります。
検索順位の低下やコンバージョン率の低下など、スクレイピング攻撃の症状を最初に経験するのは、マーケティング チームかもしれません。
抽出されたデータは、販売されたり、価格比較サイトに利用されたり、さらには詐欺目的の模造サイトの作成に利用されることもあります。
スクレーパーがパートナーであっても、企業は、Webサーバーに直接データを要求してコストの高いリソースを消費するよりも、指定されたAPIからデータを取得することを望むかもしれません。