Web スクレイピング (価格スクレイピング、ハーベスティング、マイニング、ミラーリング、スクレイパー ボットとも呼ばれる) とは、自動化ツールを使用してターゲットapplicationから大量のデータを収集し、そのデータを他の場所で再利用することを指します。
スクレイピングは、リクエストのソース、目的、頻度に応じて、無害なものから悪意のあるものまでさまざまです。 たとえば、サイトの robot.txt で定義されたスクレイピング レートを尊重する検索エンジン ボットは許容されると考えられますが、競合他社からの毎日の価格スクレイピングは望ましくないと考えられます。
スクレーパーによって航空会社のインフラストラクチャ コストが増加し、収益管理能力に影響が及んでいたため、セキュリティ チームは F5 に相談しました。
攻撃者は、自動化ツール、既製のスクリプト、またはスクレイピング サービス プロバイダーを使用して、価格、プロモーション、記事、メタデータなどの Web サイトのコンテンツを検出してスクレイピングするスクリプトを簡単に作成できます。
Gartner Research の著名な VP アナリストが、攻撃者がユーザーを模倣するために利用する手法を紹介します。
スクレイピング キャンペーンは、攻撃者のスキルと目的に応じて、大胆なものからステルス的なものまでさまざまです。 スクレイピング スクリプトの実行は、企業全体のユーザー層のトラフィック パターンに溶け込むように、数百または数千のサーバーに分散される場合があります。
検索ランキングの低下やコンバージョン率の低下など、スクレイピング攻撃の症状を最初に経験するのはマーケティング チームかもしれません。
抽出されたデータは販売されたり、価格比較サイトに使用されたり、詐欺目的の模倣サイトの作成に使用されたりする可能性があります。
スクレーパーがパートナーである場合でも、企業は、Web サーバーから直接データを要求して高価なリソースを消費するのではなく、指定された API からデータを取得することを好む場合があります。