Sicherheit für generative KI und Schutz vor unbefugtem Content-Scraping

Jim Downey

Stellen Sie sich vor, Sie wären ein Experte, der seinen Lebensunterhalt mit dem Verkauf von Informationen verdient; Menschen bezahlen dafür, Ihnen Fragen stellen zu dürfen. Plötzlich saugt eine Maschine dieses Fachwissen aus Ihrem Kopf, lernt, Fragen schneller zu beantworten als Sie, und entzieht Ihnen damit die Lebensgrundlage. Mit dem Aufstieg der generativen KI stehen Unternehmen, deren Geschäftsmodelle auf Inhalten basieren, genau vor diesem Dilemma.

Wir wissen vielleicht nicht, wohin uns generative KI führen wird, doch sie wird zweifellos die Art und Weise verändern, wie wir Inhalte konsumieren, und dadurch Unternehmen ins Wanken bringen, die auf die Verbreitung von Inhalten angewiesen sind – ähnlich wie das Internet unseren Konsum von Nachrichten und Unterhaltung verändert und damit viele traditionelle Nachrichtenmedien ruiniert hat.

Die durch generative KI ausgelösten Umwälzungen werden sich sowohl auf Unternehmen auswirken, die Inhalte wie Medienbeiträge, Nachrichten und Stockfotos verkaufen, als auch auf Unternehmen, die mithilfe von Inhalten Zuschauer für bezahlte Werbung gewinnen. Ebenso betroffen sein werden Unternehmen, die potenzielle Kunden ansprechen, um Produkte und Dienstleistungen zu bewerben, ihre Markenidentität und Kundenbeziehungen zu stärken oder Kunden durch einen Handlungsaufruf zu einer bestimmten Aktion zu bewegen.

Während das Crawlen von Inhalten für Suchzwecke bereits in den Anfängen des Internets entstand, funktionieren LLM-basierte Anwendungen wie ChatGPT grundlegend anders. Suchmaschinen stellen Zusammenfassungen mit Links zu den Originalinhalten bereit und schaffen einen Mehrwert, indem sie Inhalte auffindbar machen. LLM-gestützte Chat-Anwendungen hingegen verlinken nicht unbedingt auf die Originalinhalte. Vielmehr laden sie die Nutzer dazu ein, im Chat zu bleiben und durch weitere Eingaben mehr zu erfahren, wodurch dem Unternehmen, das die Inhalte erstellt hat, jeglicher Mehrwert entzogen wird.

Organisationen können sich nicht allein auf die robots.txt-Datei verlassen, mit der sie den Geltungsbereich für Crawler festlegen können, da sich nicht alle Organisationen, die Inhalte zum Trainieren von LLMs crawlen, an die robots.txt-Datei halten. Es wird darüber diskutiert, ob LLMs Inhalte lediglich kopieren und wiedergeben oder sie wie andere Urheber neu zusammensetzen. Welche Bedeutung das Urheberrecht für das Scraping durch LLMs hat, wird derzeit vor Gericht erörtert. Wie sich Gesetze und Normen entwickeln werden, lässt sich nur schwer vorhersagen. Organisationen sollten sich jedoch bereits jetzt Gedanken darüber machen, wie sie die Inhalte schützen können, auf die ihre Geschäftstätigkeit angewiesen ist.

Scraping lässt sich eindämmen, wenn auch nicht ohne Weiteres. Tatsächlich ist es keineswegs ein neues Problem. Scraper versuchen seit Langem, Wettbewerbsdaten über Fluggesellschaften, Einzelhandelsketten und Hotels zu sammeln, indem sie Flugtarife, Preise und Übernachtungspreise auslesen. Diese Unternehmen wollen nicht nur verhindern, dass Wettbewerbsdaten abgeschöpft werden; die durch Scraper verursachte Datenverkehrslast – insbesondere durch solche, die möglichst aktuelle Daten abrufen – kann in manchen Fällen bis zu 98 % des gesamten Datenverkehrs einer Website ausmachen, deren Leistung beeinträchtigen und sie sogar zum Absturz bringen.

Scraper verwenden Bots, um die Datenerfassung zu automatisieren. Leider sind herkömmliche Maßnahmen zur Abwehr von Bots, wie CAPTCHAs und Sperrlisten für IP-Adressen, wirkungslos gegen Scraper-Bots. Da Scraping im Allgemeinen als legal gilt, gibt es zahlreiche Onlinedienste, mit denen sich CAPTCHAs umgehen lassen. Mithilfe von maschinellem Lernen oder Klickfarmen können diese Dienste CAPTCHAs lösen. Sie sind schnell und kostengünstig und beim Knacken dieser lästigen Rätsel weitaus effizienter als die meisten von uns. Auch die einfachste Alternative zu CAPTCHAs – Sperrlisten für IP-Adressen – ist aufgrund der Dienste, die Scrapern zur Verfügung stehen, wirkungslos. Diese Dienste ermöglichen es Scrapern, ihre Anfragen über mehrere zehn Millionen private IP-Adressen zu senden – eine so große und weiter wachsende Zahl, dass die Pflege von Sperrlisten völlig undurchführbar ist.

Selbst viele spezialisierte Lösungen für das Bot-Management haben Schwierigkeiten mit Scraping, da sie zur Erfassung von Signalen auf Instrumentierung angewiesen sind. Ein typisches Beispiel ist die Anmeldung. Der Browser sendet zunächst eine HTTP-GET-Anfrage, um eine Webseite mit einem Anmeldeformular abzurufen. Auf dieser Seite wird im Hintergrund JavaScript ausgeführt, das Daten über den Browser sowie über die Tipp- und Mausbewegungsmuster des Benutzers erfasst. Wenn der Benutzer seine Anmeldedaten übermittelt, fügt JavaScript die Signaldaten in die HTTP-POST-Anfrage ein. Die als Reverse-Proxy fungierende Bot-Management-Lösung fängt diese Anfrage ab und analysiert sie, um festzustellen, ob es sich bei dem anfragenden Akteur um einen Bot handelt.

Viele Content-Websites erfordern jedoch keine Kombination aus GET und POST, um auf Inhalte wie Blogbeiträge, Nachrichtenartikel oder Preisinformationen zuzugreifen. Stattdessen liefert eine einzige HTTP-GET-Anfrage alles zurück, was der Scraper benötigt, sodass keine Möglichkeit zur Instrumentierung besteht.

Wir wissen, dass viele Bot-Management-Lösungen keinen ausreichenden Schutz vor Scraping bieten, da es mehrere Dienste gibt, die einen einfachen API-Zugriff auf das Scraping von Inhalten ermöglichen. ZenRows führt beispielsweise die Anbieter von Anti-Bot-Lösungen auf, die der Dienst umgehen kann.

Glücklicherweise löst F5 Distributed Cloud Bot Defense dieses Problem mithilfe einer Technik, die als Interstitial bezeichnet wird – eine Seite, die schnell geladen wird, zügig Daten erfasst und anschließend den Inhalt der angeforderten Seite lädt. Durch den langjährigen Schutz der größten Fluggesellschaften und Einzelhändler vor Scraping hat F5 diese Technik so optimiert, dass sie schnell, effizient und wirksam ist. Das Interstitial wird nur einmal pro Benutzersitzung ausgeführt, da keine weiteren Überprüfungen erforderlich sind, sobald ein Akteur als Mensch identifiziert wurde. Ausgenommen davon ist der Schutz vor Replay-Angriffen.

Als effektivste verfügbare Bot-Management-Lösung bietet Distributed Cloud Bot Defense Content-Erstellern den besten Schutz davor, dass ihre Inhalte für die Entwicklung von LLM-Modellen ausgelesen werden. Für Unternehmen, die ihre Inhalte und ihr Geschäft schützen möchten, ist Distributed Cloud Bot Defense die beste Wahl.

Über den Autor

Jim Downey

Weitere Blogbeiträge von Jim Downey