Web Scraping Google mit Node JS

Durch ständige Datenerfassung können Sie sich über laufende Veränderungen auf dem Laufenden halten und fundierte, zeitnahe Entscheidungen treffen. Als eine der beliebtesten Suchmaschinen kann Google aktuelle Informationen und die relevantesten Daten anbieten. Egal, ob Sie nach Hotels oder Immobilienagenturen suchen, Google liefert relevante Daten.

Es gibt viele Möglichkeiten, Daten zu scrapen: von der manuellen Datenerfassung über die Bestellung eines Datenpakets auf Marktplätzen bis hin zur Verwendung von Web-Scraping-APIs und der Erstellung eigener Scraper.

Inhaltsübersicht

Was können wir von Google scrapen?

Google hat viele Dienste, über die Sie die gewünschten Informationen finden können. Es gibt die Suchergebnisseite (SERP), Karten, Bilder, Nachrichten und mehr. Durch Scraping von Google können Sie Ihr eigenes Ranking und das Ihrer Konkurrenten auf der Google-Suchergebnisseite verfolgen. Sie können Lead-Informationen von Google Maps sammeln oder für andere Zwecke verwenden.

Suchergebnisse

Eine der am häufigsten gestellten Aufgaben ist das Extrahieren von Informationen aus der Google SERP, einschließlich Titel, URLs, Beschreibungen und Snippets. Das Scraping von Google SERP wäre beispielsweise eine gute Lösung, wenn Sie eine Liste von Ressourcen in einem bestimmten Bereich oder von Dienstleistern benötigen.

Google Maps

Das Scraping von Google Maps ist das zweite Scraping-Ziel. Mit dem Scraping von Karten können Sie schnell Informationen über Unternehmen in einem bestimmten Gebiet sammeln und deren Kontaktinformationen, Rezensionen und Bewertungen erfassen.

Google Nachrichten

Nachrichtenaggregatoren nutzen normalerweise Google News, um aktuelle Ereignisse zu sammeln. Google News bietet Zugang zu Nachrichtenartikeln, Schlagzeilen und Veröffentlichungsdetails, und Scraping kann Ihnen bei der Automatisierung der Datenbeschaffung helfen.

Andere Google-Dienste

Neben den bereits erwähnten Diensten bietet Google noch weitere Dienste an, z.B. Google Images und Google Shopping. Sie können ebenfalls ausgewertet werden, auch wenn die Informationen, die sie liefern, für Web Scraping-Zwecke weniger interessant sein könnten.

Warum sollten wir Google scrapen?

Es gibt verschiedene Gründe, warum Menschen und Unternehmen Google Data Scraping nutzen können. Zum Beispiel können Forscher mit Google Scraping auf eine riesige Menge an Daten für akademische Forschung und Analyse zugreifen. Ebenso können Unternehmen die so gewonnenen Daten für Marktforschung, Wettbewerbsanalysen oder die Gewinnung potenzieller Kunden nutzen.

Darüber hinaus wird Web Scraping auch für SEO-Spezialisten hilfreich sein. Mit den gesammelten Daten können sie Suchmaschinen-Rankings und Trends besser analysieren. Und Autoren von Inhalten können Google Scraping sogar nutzen, um Informationen zusammenzutragen und wertvolle Inhalte zu erstellen.

Wie man Google-Daten ausliest

Wie wir bereits gesagt haben, gibt es mehrere Möglichkeiten, die benötigten Daten zu erhalten. Wir werden uns nicht mit der manuellen Datenerfassung oder dem Kauf eines vorgefertigten Datensatzes befassen. Stattdessen möchten wir über die Beschaffung der gewünschten Daten selbst sprechen. Sie haben hier also zwei Möglichkeiten:

Verwenden Sie spezielle Scraping-Tools wie Programme, No-Code Scraper und Plug-ins.
Erstellen Sie Ihren Scraper. Hier können Sie ihn von Grund auf neu erstellen und Herausforderungen wie das Umgehen von Sperren, das Lösen von Captchas, das JS-Rendering, die Verwendung von Proxys und mehr lösen. Alternativ können Sie auch eine API verwenden, um den Prozess zu automatisieren und diese Probleme mit einer einzigen Lösung zu bewältigen.

Schauen wir uns jede dieser Optionen an.

Google Scraper ohne Code verwenden

Der einfachste Weg, Daten zu erhalten, ist die Verwendung von Google Maps oder Google SERP No-Code Scrapers. Dafür benötigen Sie keine Programmierkenntnisse oder Fähigkeiten. Um Daten von Google SERP oder Maps zu erhalten, melden Sie sich auf unserer Website an und öffnen den gewünschten No-Code Scraper. Um zum Beispiel den No-Code Scraper für Google Maps zu verwenden, füllen Sie einfach die erforderlichen Felder aus und klicken Sie auf die Schaltfläche "Scraper ausführen".

Danach können Sie die Daten im gewünschten Format herunterladen. Auf dieselbe Weise können Sie auch Daten aus der Google SERP abrufen. Sie können auch zusätzliche Daten von Google-Diensten erhalten, indem Sie Tools wie Google Trends oder Google Reviews no-code scraper verwenden.

Erstellen Sie Ihr eigenes Google Web Scraping Tool

Die zweite Option erfordert Programmierkenntnisse, ermöglicht es Ihnen aber, ein flexibles Tool zu erstellen, das Ihren Bedürfnissen entspricht. Um Ihren Scraper zu erstellen, können Sie eine der gängigen Programmiersprachen wie NodeJS, Python oder R verwenden.

NodeJS bietet im Vergleich zu anderen Programmiersprachen mehrere Vorteile. Es verfügt über eine breite Palette von npm-Paketen, mit denen Sie jede Aufgabe lösen können, einschließlich Web Scraping. Außerdem eignet sich NodeJS gut für den Umgang mit dynamisch generierten Seiten wie denen von Google.

Dieser Ansatz hat jedoch auch seine Nachteile. Wenn Sie beispielsweise häufig eine Website scrapen, können Ihre Aktionen als verdächtig angesehen werden, und der Dienst kann Ihnen anbieten, das CAPTCHA zu lösen oder sogar Ihre IP-Adresse zu sperren. In diesem Fall müssen Sie Ihre IP-Adresse häufig über einen Proxy ändern.

Wenn Sie Ihren Scraper erstellen, müssen Sie diese potenziellen Herausforderungen berücksichtigen, um ein effektives Tool zu schaffen.

Vorbereitungen für Scraping

Bevor Sie mit dem Web Scraping beginnen, müssen Sie die notwendigen Vorbereitungen treffen. Beginnen wir damit, die Umgebung einzurichten, die erforderlichen npm-Pakete zu installieren und die Seiten, die wir scrapen wollen, zu untersuchen.

Installieren der Umgebung

NodeJS ist eine Shell, mit der Sie JavaScript außerhalb eines Webbrowsers ausführen und verarbeiten können. Der Hauptvorteil von NodeJS ist, dass es eine asynchrone Architektur in einem einzigen Thread implementiert, so dass Ihre Anwendungen schnell laufen.

Um mit dem Schreiben eines Scrapers mit NodeJS zu beginnen, installieren Sie es und aktualisieren Sie den NPM. Laden Sie die neueste stabile Version von NodeJS von der offiziellen Website herunter und folgen Sie den Anweisungen zur Installation. Um sicherzugehen, dass alles erfolgreich installiert wurde, können Sie den folgenden Befehl ausführen:

node -v

Sie sollten einen String erhalten, der die installierte Version von NodeJS anzeigt. Lassen Sie uns nun mit der Aktualisierung von NPM fortfahren.

npm install -g npm

Nun können wir mit der Installation der Bibliotheken fortfahren.

Installieren der Bibliotheken

In diesem Tutorial werden die NPMs Axios, Cheerio, Puppeteer und Scrape-It.Cloud verwendet. Wir haben bereits darüber geschrieben, wie Sie Axios und Cheerio zum Scrapen von Daten verwenden können, da sie sich hervorragend für Anfänger eignen. Puppeteer ist ein komplexeres, aber auch funktionelleres NPM-Paket. Wir bieten auch NPM-Pakete an, die auf unseren Google Maps- und Google SERP-APIs basieren, also werden wir uns auch diese ansehen.

Erstellen Sie zunächst einen Ordner, in dem das Projekt gespeichert wird, und öffnen Sie die Eingabeaufforderung in diesem Ordner (gehen Sie zu dem Ordner und geben Sie in der Adressleiste "cmd" ein und drücken Sie die Eingabetaste). Dann initialisieren Sie npm:

npm init -y

Dadurch wird eine Datei erstellt, in der die Abhängigkeiten aufgelistet sind. Jetzt können Sie die Bibliotheken selbst installieren:

npm i axios
npm i cheerio
npm i puppeteer puppeteer-core chromium
npm i @scrapeit-cloud/google-maps-api
npm i @scrapeit-cloud/google-serp-api

Nun, da die notwendigen Elemente installiert sind, sollten wir uns die Webseiten ansehen, die wir auslesen wollen. Wir haben zum Beispiel die beliebtesten Seiten ausgewählt - Google SERP und Google Maps.

Google SERP Seitenanalyse

Lassen Sie uns mit Google nach "cafe new york" suchen und die Ergebnisse finden. Gehen Sie dann zu DevTools (F12 oder klicken Sie mit der rechten Maustaste auf den Bildschirm und wählen Sie Inspizieren) und sehen Sie sich die Elemente genau an. Wie wir sehen können, haben alle Elemente automatisch generierte Klassen. Dennoch bleibt die Gesamtstruktur konstant, und die Elemente haben, abgesehen von ihren wechselnden Klassen, eine Klasse namens "g".

Wir werden zum Beispiel den Titel und einen Link zu der Ressource abrufen. Die übrigen Elemente werden auf ähnliche Weise abgefragt, so dass wir uns nicht mit ihnen befassen.

Der Titel befindet sich im h3-Tag, und der Link ist im 'a'-Tag innerhalb des href-Attributs gespeichert.

Wenn Sie weitere Daten benötigen, suchen Sie diese auf der Seite, im Code, und finden Sie die Muster, anhand derer Sie ein bestimmtes Element identifizieren können.

Analyse der Google Map Seite

Lassen Sie uns nun das Gleiche für Google Maps tun. Gehen Sie auf die Registerkarte Google Maps und öffnen Sie DevTools. Lassen Sie uns dieses Mal einen Titel, eine Bewertung und eine Beschreibung abrufen. Sie können eine große Menge an Daten aus Google Maps abrufen. Wir zeigen Ihnen das am Beispiel des Scrapings mit der API. Wenn Sie jedoch einen vollwertigen Scraper erstellen, um alle verfügbaren Daten von Google Maps zu sammeln, müssen Sie sich auf eine lange und harte Arbeit einstellen.

Wie wir sehen, benötigen wir die Daten aus der Klasse "fontHeadlineSmall", aus dem span-Tag mit dem Attribut role="img" und aus dem span-Tag.

Scraping der Google SERP mit NodeJS

Beginnen wir mit dem Scrapen von Google SERPs. Da wir die Seite bereits analysiert haben, müssen wir nur noch die Pakete importieren und sie zum Aufbau des Scrapers verwenden.

Scrapen Sie Google SERP mit Axios und Cheerio

Lassen Sie uns die Pakete Axios und Cheerio importieren. Dazu erstellen Sie eine *.js-Datei und schreiben:

const axios = require('axios');
const cheerio = require('cheerio');

Lassen Sie uns nun eine Abfrage ausführen, um die benötigten Daten zu erhalten:

axios.get('https://www.google.com/search?q=cafe+in+new+york')

Denken Sie daran, dass alle Elemente, die wir benötigen, die Klasse "g" haben. Wir haben den HTML-Code der Seite, also müssen wir ihn verarbeiten und alle Elemente mit der Klasse "g" auswählen.

  .then(response => {
    const html = response.data;
    const $ = cheerio.load(html);
    console.log($.text())
    const elements = $('.g');

Danach müssen wir nur noch alle Elemente durchgehen und den Titel und den Link auswählen. Dann können wir sie auf dem Bildschirm anzeigen.

      elements.each((index, element) => {
      const title = $(element).find('h3').text();
      const link = $(element).find('a').attr('href');

      console.log('Title:', title);
      console.log('Link:', link);
      console.log('');
    });

Der Code ist sofort einsatzbereit. Und er würde funktionieren, wenn die Seiten von Google nicht dynamisch generiert würden. Doch selbst wenn wir diesen Code ausführen, können wir leider nicht die gewünschten Daten erhalten. Das liegt daran, dass Axios und Cheerio nur mit statischen Seiten arbeiten. Alles, was wir tun können, ist, den HTML-Code der Anfrage, die wir erhalten, auf dem Bildschirm anzuzeigen und sicherzustellen, dass er aus einer Reihe von Skripten besteht, die beim Laden den Inhalt generieren sollten.

Google SERP mit Puppeteer scrapen

Lassen Sie uns Puppeteer verwenden, das sich hervorragend für die Arbeit mit dynamischen Seiten eignet. Wir werden einen Scraper schreiben, der den Browser startet, zu der gewünschten Seite navigiert und die erforderlichen Daten sammelt. Wenn Sie mehr über dieses npm-Paket erfahren möchten, finden Sie hier viele Beispiele für die Verwendung von Puppeteer.

Verbinden Sie nun die Bibliothek und bereiten Sie die Datei für unseren Scraper vor:

const puppeteer = require('puppeteer');
(async () => {
   //Here will be the code of our scraper
})();

Starten Sie nun den Browser und rufen Sie die gewünschte Seite auf:

    const browser = await puppeteer.launch();
    const page = await browser.newPage();
    await page.goto('https://www.google.com/search?q=cafe+in+new+york');

Warten Sie dann, bis die Seite geladen ist und holen Sie alle Elemente mit der Klasse "g".

    await page.waitForSelector('.g');
    const elements = await page.$$('.g');

Lassen Sie uns nun alle Elemente einzeln durchgehen und für jedes einen Titel und einen Link auswählen. Zeigen Sie dann die Daten auf dem Bildschirm an.

    for (const element of elements) {
      const title = await element.$eval('h3', node => node.innerText);
      const link = await element.$eval('a', node => node.getAttribute('href'));
      console.log('Title:', title);
      console.log('Link:', link);
      console.log('');
    }

Und vergessen Sie am Ende nicht, den Browser zu schließen.

    await browser.close();

Und dieses Mal erhalten wir die Daten, die wir brauchen, wenn wir dieses Skript ausführen.

D:\scripts>node serp_pu.js
Title: THE 10 BEST Cafés in New York City (Updated 2023)
Link: https://www.tripadvisor.com/Restaurants-g60763-c8-New_York_City_New_York.html

Title: Cafés In New York You Need To Try - Bucket Listers
Link: https://bucketlisters.com/inspiration/cafes-in-new-york-you-need-to-try

Title: Best Places To Get Coffee in New York - EspressoWorks
Link: https://espresso-works.com/blogs/coffee-life/new-york-coffee

Title: Caffe Reggio - Wikipedia
Link: https://en.wikipedia.org/wiki/Caffe_Reggio

...

Da Sie nun wissen, wie Sie die benötigten Daten erhalten, können Sie Ihr Skript mit Hilfe von CSS-Selektoren für die gewünschten Elemente leicht ändern.

Scrapen mit Google SERP API

Scraping wird mit der Google SERP API noch einfacher. Melden Sie sich dazu einfach auf unserer Website an, kopieren Sie den API-Schlüssel aus Ihrem Dashboard im Konto und stellen Sie eine GET-Anfrage mit den erforderlichen Parametern.

Beginnen Sie damit, die notwendigen Bibliotheken zu verbinden und den API-Link anzugeben. Geben Sie außerdem den Titel an, in den Sie Ihren API-Schlüssel einfügen müssen.

const fetch = require('node-fetch');
const url="https://api.scrape-it.cloud/scrape/google?";

const headers = {
    'x-api-key': 'YOUR-API-KEY'
};

Lassen Sie uns nun die Anfrageeinstellungen festlegen. Nur eine davon ist erforderlich - "q", der Rest ist optional. Weitere Informationen zu den Einstellungen finden Sie in unserer Dokumentation.

const params = new URLSearchParams({
    q: 'Coffee',
    location: 'Austin, Texas, United States',
    domain: 'google.com',
    deviceType: 'desktop',
    num: '100'
});

Und schließlich lassen Sie sich alle Ergebnisse in der Konsole anzeigen.

fetch(`${url}${params.toString()}`, { headers })
    .then(response => response.text())
    .then(data => console.log(data))
    .catch(error => console.error(error));

Sie können die API ganz einfach nutzen und erhalten so die gleichen Daten ohne Einschränkungen oder die Notwendigkeit von Proxys.

Scraping von Google Maps mit NodeJS

Nachdem wir nun das Scraping von Daten aus der Google SERP behandelt haben, wird das Scraping von Daten aus Google Maps viel einfacher für Sie sein, da es sich nicht wesentlich unterscheidet.

Scrapen Sie Google Maps mit Axios und Cheerio

Wie wir bereits besprochen haben, ist es nicht möglich, mit Axios und Cheerio Daten aus den Google SERP oder Maps abzugreifen. Der Grund dafür ist, dass der Inhalt dynamisch generiert wird. Wenn wir versuchen, die Daten mit diesen NPM-Paketen zu scrapen, erhalten wir ein HTML-Dokument mit Skripten zur Generierung des Seiteninhalts. Selbst wenn wir also ein Skript schreiben, um die benötigten Daten zu scrapen, wird es nicht funktionieren.

Kommen wir also zur Puppeteer-Bibliothek, die es uns ermöglicht, einen Headless Browser zu verwenden und mit dynamischen Inhalten zu interagieren. Mit Puppeteer können wir Einschränkungen überwinden und effektiv Daten von Google Maps scrapen.

Scrapen Sie Google Maps mit Puppeteer

Lassen Sie uns dieses Mal Google Maps verwenden, um eine Liste von Cafés in New York, ihre Bewertungen und die Anzahl der Rezensionen zu erhalten. Wir verwenden Puppeteer, um einen Browser zu starten und zu der Seite zu navigieren, auf der dies geschehen soll. Dieser Teil ähnelt dem Beispiel mit der Google SERP, daher gehen wir nicht näher darauf ein. Schließen Sie außerdem den Browser und beenden Sie die Funktion.

const puppeteer = require('puppeteer');
(async () => {
  const browser = await puppeteer.launch();
  const page = await browser.newPage();
  await page.goto('https://www.google.com/maps/search/cafe+near+New+York,+USA',  { timeout: 60000 }); 
// Here will be information about data to scrape
  await browser.close();
})();

Jetzt müssen wir nur noch das übergeordnete Tag identifizieren, das alle Elemente haben, und die einzelnen Elemente durchlaufen, um Daten über ihre Bewertung und die Anzahl der Bewertungen zu sammeln, die sie haben.

  const elements = await page.$$('div[role="article"]');
  for (const element of elements) {
    const title = await element.$eval('.fontHeadlineSmall', node => node.innerText);
    const rating = await element.$eval('[role="img"][aria-label*=stars]', node => node.getAttribute('aria-label'));

    console.log('Title:', title);
    console.log('Rating:', rating);
    console.log('');
  }

Als Ergebnis erhalten wir eine Liste von Kaffeehausnamen und deren Bewertung.

D:\scripts>node maps_pu.js
Title: Victory Sweet Shop/Victory Garden Cafe
Rating: 4.5 stars 341 Reviews

Title: New York Booze Cruise
Rating: 3.0 stars 4 Reviews

Title: In Common NYC Cafe
Rating: 4.8 stars 606 Reviews

Title: Cafe Select
Rating: 4.1 stars 845 Reviews

Title: Pause Cafe
Rating: 4.6 stars 887 Reviews

...

Nachdem wir nun die Bibliotheken erkundet haben, wollen wir sehen, wie einfach es ist, alle Daten über unsere Google Maps API zu erhalten.

Scrapen mit Google Map API

Um die Web Scraping API zu nutzen, benötigen Sie Ihren einzigartigen API-Schlüssel, den Sie nach der Anmeldung auf unserer Website zusammen mit einer bestimmten Anzahl kostenloser Credits kostenlos erhalten.

Lassen Sie uns nun die Bibliothek mit unserem Projekt verbinden.

const ScrapeitSDK = require('@scrapeit-cloud/google-serp-api');

Als nächstes erstellen wir eine Funktion, die die HTTP-Anfrage ausführt und unseren API-Schlüssel hinzufügt. Um die Beispiele der Vergangenheit nicht komplett zu wiederholen, ändern wir sie und fügen try...catch-Blöcke hinzu, um Fehler abzufangen, die während der Skriptausführung auftreten können.

(async() => {
  const scrapeit = new ScrapeitSDK('YOUR-API-KEY');

  try {
    //Here will be a request
  } catch(e) {
    console.log(e.message);
  }
})();

Jetzt müssen wir nur noch eine Anfrage an die Scrape-It.Cloud API stellen und die Daten auf dem Bildschirm anzeigen.

        const response = await scrapeit.scrape({
        "keyword": "pizza",
        "country": "US",
        "num_results": 100,
        "domain": "com"
        });
        console.log(response);

Als Ergebnis erhalten wir eine JSON-Antwort, die Informationen zu den ersten hundert Artikeln und einige andere Informationen anzeigt:

Da der vorherige Prozess zu einfach war und wir eine große Menge an Daten haben, lassen Sie uns diese zusätzlich in einer CSV-Datei speichern. Dazu müssen wir das NPM-Paket "csv-writer" installieren, das wir bisher noch nicht installiert haben.

npm i csv-writer

Fügen wir nun den Import des NPM-Pakets in das Skript ein.

const createCsvWriter = require('csv-writer').createObjectCsvWriter;

Jetzt müssen wir nur noch den Try-Block effizienter gestalten. Definieren Sie zunächst den CSV-Writer mit einem Semikolon als Trennzeichen nach der Antwort.

    const csvWriter = createCsvWriter({
      path: 'scraped_data.csv',
      header: [
        { id: 'position', title: 'Position' },
        { id: 'title', title: 'Title' },
        { id: 'domain', title: 'Domain' },
        { id: 'url', title: 'URL' },
        { id: 'snippet', title: 'Snippet' }
      ],
      fieldDelimiter: ';'
    });

Extrahieren Sie dann die relevanten Daten aus der Antwort:

    const data = response.organic.map(item => ({
      position: item.position,
      title: item.title,
      domain: item.domain,
      url: item.url,
      snippet: item.snippet
    }));

Und am Ende schreiben Sie die Daten in die CSV-Datei und zeigen die Meldung über das erfolgreiche Speichern an:

    await csvWriter.writeRecords(data);
    console.log('Data saved to CSV file.');

Nachdem wir dieses Skript ausgeführt haben, haben wir eine CSV-Datei erstellt, die detaillierte Informationen über die ersten hundert Positionen auf Google Maps für den gewünschten Suchbegriff enthält.

Vollständiger Code:

const ScrapeitSDK = require('@scrapeit-cloud/google-serp-api');
const createCsvWriter = require('csv-writer').createObjectCsvWriter;

(async() => {
  const scrapeit = new ScrapeitSDK('YOUR-API-KEY');

  try {
    const response = await scrapeit.scrape({
      "keyword": "pizza",
      "country": "US",
      "num_results": 100,
      "domain": "com"
    });

    const csvWriter = createCsvWriter({
      path: 'scraped_data.csv',
      header: [
        { id: 'position', title: 'Position' },
        { id: 'title', title: 'Title' },
        { id: 'domain', title: 'Domain' },
        { id: 'url', title: 'URL' },
        { id: 'snippet', title: 'Snippet' }
      ],
      fieldDelimiter: ';'
    });

    const data = response.organic.map(item => ({
      position: item.position,
      title: item.title,
      domain: item.domain,
      url: item.url,
      snippet: item.snippet
    }));

    await csvWriter.writeRecords(data);

    console.log('Data saved to CSV file.');
  } catch(e) {
    console.log(e.message);
  }
})();

Wir sehen also, dass die Verwendung der Web Scraping API das Extrahieren von Daten aus Google Maps sehr einfach macht.

Herausforderungen beim Web Scraping Google

Es reicht nicht aus, einen Scraper zu entwickeln, der alle erforderlichen Daten sammelt. Es muss auch sichergestellt werden, dass er Schwierigkeiten beim Scrapen vermeidet. Sie sollten einige Probleme im Voraus lösen und Vorkehrungen treffen, um sie zu umgehen, wenn sie auftreten.

Anti-Scraping-Mechanismen

Viele Websites verwenden verschiedene Methoden zum Schutz vor Bots, darunter auch Scraper. Die ständige Ausführung von Anfragen an die Website stellt eine zu große Belastung für die Ressource dar, so dass sie beginnt, Antworten mit Verzögerung und dann außer der Reihe zurückzugeben. Daher ergreifen Websites Maßnahmen zum Schutz vor häufigen Anfragen durch Bots. Eine dieser Schutzmaßnahmen sind zum Beispiel spezielle Fallen, Elemente, die nicht auf der Seite, sondern im Code der Seite sichtbar sind. Die Weitergabe eines solchen Elements kann Sie blockieren oder auf nicht existierende Seiten mit Schleifen schicken.

CAPTCHAs

Eine weitere gängige Methode zum Schutz vor Bots ist die Verwendung eines Captcha. Um dieses Problem zu umgehen, können Sie spezielle Dienste nutzen, um ein Captcha zu lösen, oder eine API, die vorgefertigte Daten zurückgibt.

Ratenbegrenzung

Wie wir bereits gesagt haben, können zu viele Abfragen der Zielseite schaden. Außerdem ist die Geschwindigkeit von Bot-Anfragen viel höher als die von Menschen. Daher können die Dienste relativ leicht feststellen, dass ein Bot Aktionen durchführt.

Zur Sicherheit Ihres Scrapers und um die Zielressource nicht zu beschädigen, lohnt es sich, die Scraping-Geschwindigkeit auf mindestens 30 Anfragen pro Minute zu reduzieren.

Ändern der HTML-Struktur

Eine weitere Herausforderung beim Web Scraping ist die sich ändernde Struktur der Website. Sie haben es bereits am Beispiel von Google gesehen. Die Klassennamen und Elemente werden automatisch generiert, was es schwieriger macht, die Daten zu erhalten. Die Struktur der Website bleibt jedoch unverändert. Der Schlüssel liegt darin, sie genau zu analysieren und effektiv zu nutzen.

IP-Blockierung

Die IP-Sperrung ist eine weitere Möglichkeit, sich vor Bots und Spam zu schützen. Wenn Ihre Aktionen einer Website verdächtig erscheinen, werden Sie möglicherweise blockiert. Deshalb werden Sie wahrscheinlich einen Proxy verwenden müssen. Ein Proxy fungiert als Vermittler zwischen Ihnen und der Ziel-Website. Er ermöglicht Ihnen den Zugriff auch auf Ressourcen, die in Ihrem Land oder speziell für Ihre IP-Adresse gesperrt sind.

Fazit und Schlussfolgerungen

Das Scrapen von Daten aus Google Maps kann komplex oder einfach sein, je nach den gewählten Tools. Aufgrund von Herausforderungen wie JavaScript-Rendering und starkem Bot-Schutz kann die Entwicklung eines benutzerdefinierten Scrapers ziemlich schwierig sein.

Außerdem hat das heutige Beispiel gezeigt, dass nicht alle Bibliotheken für das Scraping von Google SERP und Google Maps geeignet sind. Trotzdem haben wir auch gezeigt, wie diese Herausforderungen überwunden werden können. Um die Herausforderung der dynamischen Strukturerstellung zu lösen, haben wir zum Beispiel den Puppeteer NPM verwendet. Außerdem zeigen wir Anfängern oder denjenigen, die sich Zeit und Mühe mit Captcha und Proxys sparen möchten, wie man eine Web Scraping API verwendet, um die gewünschten Daten zu extrahieren.