Gérer et empêcher le Web Scraping

Alias Web scraping, ratissage de Web, ratissage de tarifs, agrégation de données, récolte, minage, mirroring, bots de ratissage

Les bases du Web Scraping

Le Web Scraping consiste à utiliser des outils automatisés pour collecter de grandes quantités de données à partir d’une application cible afin de réutiliser ces données ailleurs.

Il peut être bénin ou malveillant, selon la source, l’objectif et la fréquence des demandes. Par exemple, un robot de moteur de recherche qui respecte les taux définis dans le robot.txt du site sera probablement considéré comme acceptable, alors qu’un ratissage quotidien des prix par un concurrent est probablement indésirable.

 

Une compagnie aérienne américaine du top 5 perdait de l’argent

Le Scraping augmentait les coûts d’infrastructure de la compagnie aérienne et affectait sa capacité à gérer ses revenus. L’équipe de sécurité s’est donc tournée vers la solution Shape.

Étude de cas: une compagnie aérienne internationale lutte contre le Scraping de tarifs

Points clés :

  • Des agrégateurs de voyages ont utilisé des bots pour découvrir et publier des options de billetterie non conformes
  • Le ratissage représentait 25 % du trafic sur l’URL de recherche principale
  • Les ratisseurs indésirables échappaient à toutes les solutions de sécurité existantes avant Shape

25 %

LE SCRAPING INDÉSIRABLE REPRÉSENTAIT 25% DE TOUT LE TRAFIC DE RECHERCHE SUR UNE SEULE URL.

Les 3 étapes du Scraping

1. Écrire le script d’attaque

À l’aide d’outils automatisés, de scripts prêts à l’emploi ou même de fournisseurs de services de Scraping, les attaquants peuvent facilement créer des scripts pour découvrir et récupérer le contenu de sites Web, notamment les prix, les promotions, les articles et les métadonnées.

Comment les attaquants simulent des utilisateurs

Le vice-président de Shape Intelligence montre les techniques que les attaquants utilisent pour imiter les utilisateurs.

2. Collecter les données

Les campagnes de Scraping peuvent aller de l’audace à la discrétion, selon les compétences et les objectifs de l’attaquant. L’exécution du script peut être répartie sur des centaines ou des milliers de serveurs afin de se fondre dans le trafic de l’ensemble des utilisateurs de l’entreprise.

Votre équipe de marketing sera peut-être la première à ressentir les symptômes des attaques de Scraping, notamment une baisse du classement dans les moteurs de recherche et une diminution des taux de conversion.

3. Monétiser

Les données extraites peuvent être vendues, utilisées pour des sites de comparaison de prix, ou même utilisées pour créer des sites d’imitation à des fins frauduleuses.

Même si le Web Scraper est un partenaire, les entreprises peuvent préférer que celui-ci récupère des données à partir d’une API spécifique, plutôt que de consommer des ressources coûteuses en demandant des données directement aux serveurs Web.

Gérer les Web Scrapers sans avoir à gérer une solution

Thank you! 

A Shape expert will contact you as soon as possible.