Wenn Sie Web Scraping erwähnen, werden Sie garantiert gemischte Reaktionen erhalten.
Manche Menschen lieben Web Scraping, andere hassen es.
Die Liebhaber werden darauf hinweisen, wie die Nutzung von Webdaten die Welt zu einem besseren, produktiveren Ort machen kann. Die Gegner hingegen werden auf den Schaden hinweisen, den Web Scraping angeblich verursacht.
Unabhängig davon, wie Sie zur Ethik des Web Scraping stehen, läuft dieses Argument fast immer auf eine Frage hinaus:
"Ist Web Scraping legal?"
Vor dem Hintergrund hochkarätiger Rechtsfälle wie LinkedIn gegen HiQ, die diese Frage ins Rampenlicht rücken, haben wir uns entschlossen, diesen Leitfaden zu verfassen, um die Leidenschaft von den Fakten zu trennen und aufzuschlüsseln, wann Web Scraping legal ist und wann es im Jahr 2022 illegal ist.
Haftungsausschluss : Ich bin nicht Ihr Anwalt, und diese Kommentare basieren ausschließlich auf unserer Erfahrung in der Zusammenarbeit mit Tausenden von Kunden beim Scrapen des Internets. Bitte suchen Sie einen Rechtsbeistand auf, wenn Sie Zweifel an Ihrem eigenen Projekt haben.
Inhaltsübersicht
Ist Web Scraping legal?
Es gibt Leute, die pauschal sagen, dass Web Scraping legal oder illegal ist. Diese Aussagen beruhen oft auf ihren eigenen Anreizen. Sei es, dass Web Scraper selbst argumentieren, dass Web Scraping völlig legal ist, oder dass Unternehmensanwälte und Anti-Bots-Unternehmen das Gegenteil behaupten.
In Wahrheit gibt es auf diese Frage keine einfache Ja- oder Nein-Antwort.
Das hängt wirklich von der jeweiligen Situation und der Definition von Web Scraping ab, die Sie verwenden. Hier definieren wir Web Scraping einfach als den Prozess des Sammelns von Daten aus dem gesamten Internet. Das Scraping von Daten aus anderen Websites ist ein nützlicher und wesentlicher Bestandteil vieler legitimer Datenanalyseverfahren. Web Data Scraping an sich ist nicht illegal, aber es kann illegal sein (oder sich in einer Grauzone befinden), abhängig von diesen drei Dingen:
- Die Art der Daten, die Sie auslesen
- Wie Sie die gesammelten Daten verwenden möchten
- Wie Sie die Daten von der Website extrahiert haben
Die Nummern 1 und 2 sind klarer, also beginnen wir hier, bevor wir die schwierige Nummer 3 in Angriff nehmen.
Welche Arten von Daten dürfen nicht abgegriffen werden?
Ganz gleich, ob es sich um E-Commerce-, Personen- oder Artikeldaten handelt, die Art der Daten, die Sie auslesen, und die Art, wie Sie sie zu verwenden gedenken, können einen großen Einfluss auf die Legalität haben.
Was viele nicht wissen, ist, dass der endgültige Verwendungszweck der Daten oft einen erheblichen Einfluss darauf hat, ob das Scrapen legal ist oder nicht.
Manchmal kann es völlig legal sein, eine Website zu scrapen, aber die Art und Weise, wie Sie die Daten zu verwenden gedenken, kann es illegal machen.
Die zwei Arten von Daten, um die wir uns kümmern müssen:
- Persönliche Daten
- Urheberrechtlich geschützte Daten
Wenn die Daten, die Sie auslesen, keinem der oben genannten Punkte entsprechen, sind Sie im Allgemeinen sicher.
Datenart #1: Persönliche Daten
Personenbezogene Daten oder persönlich identifizierbare Informationen (PII), wie sie technisch genannt werden, sind alle Daten, die zur direkten oder indirekten Identifizierung einer bestimmten Person verwendet werden können.
Mit der Einführung der Datenschutzgrundverordnung (GDPR) im Jahr 2018, dem kalifornischen Gesetz zum Schutz der Privatsphäre von Verbrauchern und der Empörung über Skandale wie die Einmischung von Cambridge Analytica in die US-Präsidentschaftswahlen 2016 ist das Thema personenbezogene Daten zu einem heißen Eisen geworden, das jeder Web Scraper kennen muss.
Jede Rechtsordnung hat unterschiedliche Regelungen für personenbezogene Daten, aber im Allgemeinen ist es in Rechtsordnungen mit den neuesten Verbraucherschutzgesetzen (EU, Kalifornien usw.) für Unternehmen illegal, personenbezogene Daten von Personen ohne deren Zustimmung oder ohne einen rechtmäßigen Grund dafür zu erhalten, zu speichern und/oder zu verwenden.
Zu den Arten von personenbezogenen Daten gehören:
- Name
- Telefon Nummer
- Adresse
- Benutzer Name
- IP-Adresse
- Geburtsdatum
- Infos zur Beschäftigung
- Bank- oder Kreditkarteninformationen
- Medizinische Daten
- Biometrische Daten
In den allermeisten Fällen (Lead-Generierung, Vertriebsinformationen usw.) haben Sie beim Scrapen personenbezogener Daten von einer Website nicht die Zustimmung des Dateneigentümers (der Person, deren Daten Sie scrapen), um deren Daten zu scrapen, und es ist sehr schwer zu argumentieren, dass Sie einen dieser rechtmäßigen Gründe haben, dies zu tun:
- Einverstanden - die betroffene Person hat eingewilligt, dass wir ihre Daten haben.
- Vertrag - die personenbezogenen Daten für die Erfüllung eines Vertrags mit der betroffenen Person erforderlich sind.
- Einhaltung - für die Erfüllung einer gesetzlichen Verpflichtung erforderlich sind.
- Lebenswichtiges Interesse, öffentliches Interesse oder offizielle Autorität - gilt in der Regel nur für staatliche Einrichtungen, bei denen der Zugang zu persönlichen Daten im öffentlichen Interesse liegt.
- Legitimes Interesse - notwendig für unsere legitimen Interessen.
Daher kann in den meisten Fällen das Scraping der persönlichen Daten eines Bürgers der EU oder Kaliforniens dazu führen, dass Ihr Web Scraping als illegal angesehen wird.
Wenn Sie keine persönlichen Daten oder nur die persönlichen Daten von Nicht-EU-Bürgern oder kalifornischen Bürgern extrahieren, können Sie wahrscheinlich mit dem Scraping fortfahren.
Datentyp #2: Urheberrechtlich geschützte Daten
Die zweite Art von Daten, bei der Sie vorsichtig sein müssen, sind urheberrechtlich geschützte Daten.
Urheberrechtlich geschützte Daten sind Daten, die sich im Besitz von Unternehmen und Einzelpersonen befinden, die die ausdrückliche Kontrolle über ihre Reproduktion und Erfassung haben.
Wie bei der Verwendung von urheberrechtlich geschützten Bildern und Liedern bedeutet die Tatsache, dass die Daten im Internet öffentlich zugänglich sind, nicht, dass es legal ist, sie ohne die Zustimmung des Eigentümers zu scrapen. Sie könnten das Urheberrecht des Eigentümers verletzen, wenn Sie seine Daten auslesen.
Dies gilt im Allgemeinen für die folgenden Arten von Webdaten:
- Artikel
- Videos
- Bilder
- Geschichten
- Musik
- Datenbanken
Das Scraping urheberrechtlich geschützter Daten an sich ist nicht illegal. Es geht darum, was Sie mit den urheberrechtlich geschützten Daten vorhaben, was es möglicherweise illegal macht.
Eine Person kann einen urheberrechtlich geschützten Artikel scrappen und dies ist völlig legal. Eine andere Person kann jedoch denselben Artikel scrappen und damit das Urheberrecht des Eigentümers verletzen.
Es kommt ganz darauf an, wie Sie die Daten nach dem Scrapen verwenden möchten.
- Können Sie mit Fair Use argumentieren? Anstatt den Artikel vollständig zu replizieren, planen Sie, Ausschnitte des Originalartikels zu verwenden.
- Können Sie argumentieren, dass die Daten sachlich sind und daher nicht urheberrechtlich geschützt werden können? Fakten wie Produktnamen, Preise, Merkmale usw. fallen nicht unter das Urheberrecht. Sie können also argumentieren, dass die Daten, die Sie auslesen wollen, sachlicher Natur sind.
Ein komplizierterer Aspekt des Urheberrechts ist jedoch die Frage der Datenbankrechte . Eine Datenbank ist eine organisierte Sammlung von Materialien, die es einem Benutzer ermöglicht, nach einzelnen Informationen in den Materialien zu suchen und darauf zuzugreifen.
Das bedeutet, dass es illegal sein kann, eine komplette Datenbank aus dem Internet zu klauen und sie dann exakt für Ihre eigenen Zwecke zu reproduzieren.
Auch hier gibt es in den USA und in der EU unterschiedliche Vorschriften darüber, was eine Datenbank ist und welchen rechtlichen Schutz sie dem Eigentümer der Datenbank gewähren. Es ist also wichtig, dass Sie die Regeln und Vorschriften der Länder kennen, in denen Sie Scraping betreiben.
Das Risiko, dass Sie die Datenbankrechte eines Dritten verletzen, kann durch eine Änderung der Art und Weise, wie die Daten abgefragt und verwendet werden, gemindert werden. Mit diesen beiden Tipps können Sie sicherstellen, dass Sie ethisch Data Scraping mit urheberrechtlich geschützten Daten:
- Scrapen Sie nur einige der verfügbaren Daten;
- Reproduzieren Sie nicht die Organisationsstruktur der Originaldatenbank;
Okay, bis jetzt haben wir uns damit beschäftigt, welche Arten von Daten illegal sein können und wie Sie die gesammelten Daten verwenden wollen, was die Legalität beeinflussen kann.
Als Nächstes werden wir die umstrittenste Frage zur Rechtmäßigkeit von Web Scraping beantworten: wie Sie die Daten aus der Website extrahieren .
Ist Web Scraping an sich illegal?
Es ist ziemlich einfach festzustellen, ob das Scrapen von persönlichen oder urheberrechtlich geschützten Daten Ihr Web Scraping illegal macht, da es klare Gesetze gibt, die festlegen, was legal und was illegal ist.
Wenn es um das Web-Scraping selbst geht, wird es schon schwieriger, denn keine Regierung hat ein Gesetz erlassen, das das Web-Scraping ausdrücklich legalisiert oder de-legalisiert. Stattdessen müssen wir uns auf die Urteile von Rechtsstreitigkeiten zwischen Web-Scrapern und Website-Besitzern verlassen. Und davon gibt es viele:
Um nur einige zu nennen.
Das Hauptproblem all dieser Fälle ist die Frage, ob die auf vielen Websites aufgeführten Nutzungsbedingungen, die Web Scraping (oder automatischen Zugriff) verbieten, rechtlich durchsetzbar sind. Bei Websites, die Web Scraping erlauben, gibt es natürlich keine Probleme.
Obwohl die Fälle zum Thema Web Scraping in beide Richtungen gingen, beginnen die Gerichte ab 2021, die Rechtmäßigkeit des Daten-Scrapings für Web Scraper zu klären.
In der jüngsten Entscheidung HiQ vs. LinkedIn wurde festgestellt, dass das Scrapen von Daten von einer Website nicht gegen die Anti-Hacking-Gesetze verstößt, solange die Daten öffentlich sind und der Scraper den Allgemeinen Geschäftsbedingungen der Website nicht ausdrücklich zugestimmt hat.
Das bedeutet: Solange die Daten auf einer Website öffentlich zugänglich sind und der Web Scraper sich nicht anmelden und die Geschäftsbedingungen der Website ausdrücklich akzeptieren muss, hat der Web Scraper das Recht, die öffentlich zugänglichen Daten zu scrapen.
Was bedeutet das für Web Scraper?
Wenn Sie eine Website scannen, müssen Sie diese Fragen stellen, um festzustellen, ob dies legal ist oder nicht:
- Sind die Daten öffentlich zugänglich? Wenn die Daten nicht hinter einem Login versteckt sind, sind die Allgemeinen Geschäftsbedingungen der Website nicht durchsetzbar, so dass Sie die öffentlichen Daten legal auslesen können.
- Müssen Sie ein Konto erstellen und sich anmelden, um auf die Daten zuzugreifen? Wenn dies der Fall ist, müssen Sie die Geschäftsbedingungen prüfen, denen Sie zugestimmt haben, als Sie das Konto eingerichtet haben, denn durch Ihre Zustimmung haben Sie sie rechtlich durchsetzbar gemacht.
Viele Websites enthalten in ihren Allgemeinen Geschäftsbedingungen (denen Sie zustimmen, wenn Sie ein Konto auf ihrer Website anlegen) ein Verbot, Inhalte von ihrer Website zu scrapen. Als Faustregel sollten Sie also immer davon ausgehen, dass es illegal ist, sich auf einer Website anzumelden und Inhalte zu scrapen, es sei denn, Sie haben die Allgemeinen Geschäftsbedingungen der Website gelesen.
Deshalb verbieten wir bei ScraperAPI unseren Benutzern, Daten hinter dem Login zu scrapen.
Ihr eigener Legal Web Scraping Sanity Check
So, das war's. Wir haben alle wichtigen Punkte besprochen, die für die Rechtmäßigkeit Ihres Web Scraping entscheidend sind. In den meisten Fällen, die wir sehen, ist das, was Unternehmen scrapen wollen, völlig legal.
Wir raten ihnen jedoch immer, ihre Pläne zu überprüfen, um sicherzustellen, dass sie sowohl legales als auch ethisches Web-Scraping betreiben, und zwar mit diesen drei einfachen Kontrollen:
- Sammle ich persönliche Daten?
- Greife ich auf urheberrechtlich geschützte Daten zurück?
- Greife ich auf Daten hinter einem Login zurück?
Wenn Sie alle drei Fragen mit "Nein" beantworten, dann ist Ihr Web Scraping legal.
Wenn Sie jedoch eine dieser Fragen mit "Ja" beantworten, sollten Sie einen Schritt zurücktreten und Ihr Web-Scraping rechtlich überprüfen, um sicherzustellen, dass Sie das Web nicht illegal scannen.
