Bezahlte Werbung (PPC) ist ein wettbewerbsintensiver Bereich, der intelligente Taktiken erfordert, um erfolgreich zu sein. Da dieser Werbekanal immer ausgereifter wird und die Werbekosten immer weiter steigen, haben wir eine stärkere Konzentration auf Daten festgestellt.
Das Scraping von Werbedaten kann Vermarktern helfen, ihre Kunden zu verstehen und zu erkennen, wie sie mit ihren Diensten interagieren. Es kann ihnen auch helfen, die Strategien der Wettbewerber zu verstehen und fehlende Lücken zu finden.
In diesem Artikel zeigen wir Ihnen, wie Web Scraping ein skalierbarer Ansatz für PPC-Recherchen, Prospecting und allgemeine Trendanalysen ist. Wir zeigen Ihnen, wie Sie einen Google Ads Data Scraper erstellen können, damit Sie selbstbewusst online konkurrieren können - ohne Ihr Team (oder Ihren Geldbeutel) zu überfordern.
Inhaltsübersicht
Warum Google Ads-Daten auslesen?
Bezahlte Werbung kann über Erfolg oder Misserfolg Ihres Unternehmens entscheiden. Wenn Sie also wissen, wo und wie Ihre Konkurrenz in den Google-Suchergebnissen auftaucht, können Sie Ihre Strategie optimal anpassen. Wenn Sie einen Web Scraper verwenden, können Sie in nur wenigen Stunden Google Ads-Daten aus Millionen von Suchanfragen extrahieren - was manuell unmöglich wäre.
Dann können Sie diese Daten nutzen, um faszinierende und nützliche Erkenntnisse zu gewinnen:
Verstehen Sie die Marketingpositionierung Ihrer Konkurrenten anhand von Anzeigentiteln und -beschreibungen
Google-Anzeigen sind im Grunde genommen Textanzeigen. Sie verlassen sich auf ihren Text, um Nutzer zum Klicken auf den Link zu verleiten. Mit anderen Worten: Ihre Konkurrenten achten sehr auf den Wortlaut ihrer Titel und Anzeigenbeschreibungen.
Wenn Sie zum Beispiel nach Projektmanagement-Software suchen, finden Sie die folgende ClickUp-Anzeige:
Schon beim Lesen des Werbetextes können Sie erkennen, dass das kostenlose Angebot stark betont wird. Es werden sogar Links zur Website verwendet, um auf "keine Kreditkarte" aufzubauen, was uns einen Hinweis auf die Werbebotschaft gibt.
Wenn Sie dies nun auf alle verwandten Suchbegriffe ausdehnen, können Sie eine vollständige Datenbank mit den Titeln und Beschreibungen der Anzeigen Ihrer Konkurrenten für jeden relevanten Suchbegriff anlegen und eine klare Karte erstellen, die es Ihnen ermöglicht:
- Heben Sie ihre Angebote und Lösungen von denen der Konkurrenz ab, indem Sie ihre einzigartige Marke und ihr Alleinstellungsmerkmal in den Texten hervorheben.
- Verbessern Sie die Angebote der Konkurrenz, um die Klicks potenzieller Kunden zu gewinnen.
- Identifizieren Sie relevante Schlüsselwörter mit schwachen Werbetexten, die Sie für sich gewinnen können
Erhalten Sie ein Gefühl für ihre PPC-Investitionen anhand der Häufigkeit, mit der sie in den SERPs erscheinen
Die (auch nur ungefähre) Kenntnis der Werbeausgaben Ihrer Konkurrenten kann Ihnen bei der Planung und Vorlage eines klaren Arbeitsplans helfen, der den Wettbewerb und das Budget berücksichtigt. Wenn Sie wissen, wie viel Ihre Konkurrenten in ihre PPC-Kampagnen investieren, können Sie:
- Prognostizieren Sie, wie viel Ihr Unternehmen investieren müsste, um in den SERPs konkurrenzfähig zu sein, damit Sie Ihre Strategie Ihren Stakeholdern besser verkaufen können.
- Wenn wir die Anzeigenposition in den Mix einbeziehen, können Sie herausfinden, bei welchen Schlüsselwörtern Ihr Konkurrent den Rest überbietet, und mit den durchschnittlichen CPC-Kosten herausfinden, wo es kosteneffektiver wäre, zu konkurrieren
- Wenn Sie eine Agentur betreiben, können Sie die Anzeigendaten nutzen, um das Werbebudget Ihrer Kunden zu skalieren, indem Sie konkrete Gründe für das von Ihnen vorgeschlagene Budget angeben.
- Kategorisieren Sie die Werbeinvestitionen Ihrer Konkurrenten nach Standort (z.B. Land), Suchbegriff und Suchabsicht sowie der Phase der Buyers Journey - um nur einige Kategorien zu nennen.
Um noch weiter zu gehen, können Sie Ihren Web Scraper so einstellen, dass er in regelmäßigen Abständen die SERPs scannt, um diese Informationen zu aktualisieren und Strategieänderungen zu erkennen oder Trends von verschiedenen Wettbewerbern zu generieren.
Identifizieren und analysieren Sie die Landing Pages Ihrer Konkurrenten, indem Sie deren Anzeigenlinks folgen.
Landing Pages sind der Verkäufer hinter der Werbung, und Sie können viel über Ihre Konkurrenten erfahren, wenn Sie die Texte, die Struktur und das Angebot ihrer Landing Pages analysieren.
Sie können einen Web Scraper erstellen, der Anzeigeninformationen extrahiert und dann jedem mit der Anzeige verknüpften Link folgt, um die Überschrift, den Inhalt, die Meta-Beschreibung, den Meta-Titel, die Bilder, die Videos usw. der Landing Page zu scrapen und sich einen Überblick über die gesamte PPC-Kampagne zu verschaffen, die sie durchführen. So erhalten Sie einen Überblick über die gesamte PPC-Kampagne, die der Kunde durchführt. Im Gegenzug können Sie Lücken in seinem Marketing, Angebotsmöglichkeiten, Ideen für Inhalte und Trichter für den Start Ihrer Kampagne finden.
Finden Sie heraus, wer Ihre Hauptkonkurrenten für bestimmte Schlüsselwörter sind
Ihre bekannten Konkurrenten sind nicht die einzigen, die in PPC investieren. Wenn Sie Anzeigendaten in großem Umfang auswerten, können Sie schnell Unternehmen identifizieren, die um dieselben Suchbegriffe konkurrieren, die Sie suchen. Dies ist besonders nützlich, wenn Ihr Unternehmen in einen neuen geografischen Markt eintreten möchte.
Mit einem Google Ads Scraper können Sie eine riesige Menge an Anzeigendaten sammeln, um die großen lokalen Anbieter zu identifizieren und den Grad des Wettbewerbs zu ermitteln, mit dem Sie um Marktanteile kämpfen müssen.
Wie man mit Scrapy Google-Anzeigendaten von Suchergebnisseiten abgreift
Es gibt viele Tools zum Scrapen von Google, die für das Scrapen von ein paar Abfragen nützlich sein können, aber wenn Sie Ihr Projekt auf Millionen von Abfragen skalieren möchten, benötigen Sie eine fortgeschrittenere Lösung wie ScraperAPI.
Unsere API übernimmt die ganze Arbeit der IP-Rotation, der Auswahl der richtigen Header und der Änderung der Geolokalisierung Ihrer Anfragen - damit Sie Anzeigendaten von überall her abrufen können - und verfügt über einen Auto-Parser, der speziell für Google entwickelt wurde, so dass Sie sich nicht um Selektoren oder zukünftige Änderungen an der Google-Plattform kümmern müssen.
Für dieses Projekt werden wir also ScraperAPI verwenden, um diese Komplexität zu bewältigen, und Scrapy, um das Skript zu erstellen.
Anmerkung: Wenn Sie noch nie mit Scrapy gearbeitet haben, sollten Sie sich unseren Scrapy-Leitfaden für Anfänger ansehen, in dem alle Grundlagen erläutert werden.
1. Unser Projekt einrichten
Um loszulegen, müssen Sie eine virtuelle Umgebung für die Installation von Scrapy erstellen. Öffnen Sie Ihr Terminal und navigieren Sie zum Desktop (oder dem Ort, an dem Sie das Projekt erstellen möchten), und verwenden Sie den Befehl:
python -m venv g-ad-tutorial
Sie werden feststellen, dass ein neuer Ordner erstellt wurde. Dies ist Ihre virtuelle Umgebung. Um sie zu aktivieren - auf dem Mac - verwenden Sie den folgenden Befehl:
source g-ad-tutorial/bin/activate
Wenn er aktiv ist, sollten Sie den Namen Ihres VENV wie folgt sehen:
Als nächstes erstellen Sie ein neues Projekt in Ihrem VENV:
cd g-ad-tutorial
>pip3 install scrapy
scrapy startproject g_ad_scraper
... und öffnen Sie ihn mit VScode oder Ihrem bevorzugten Code-Editor. Erstellen Sie innerhalb des spiders-Ordners Ihre Python-Datei. In unserem Fall haben wir sie g_adscraper.py genannt, aber Sie können sie benennen, wie Sie wollen.
Um die Konfiguration des Projekts abzuschließen, fügen Sie den folgenden Codeschnipsel hinzu, um alle erforderlichen Abhängigkeiten zu importieren:
import scrapy
from urllib.parse import urlencode
from urllib.parse import urlparse
#ScraperAPI autoparser will return data in JSON format
import json
API_KEY='YOUR_API_KEY'
Anmerkung: Denken Sie daran, Ihren API-Schlüssel in die Variable API_KEY einzufügen. Sie können hier ein kostenloses ScraperAPI-Konto erstellen.
2. Erstellen der Google-Such-URL
Google implementiert eine standardisierte und abfragbare URL-Struktur, die wir nutzen können, wenn wir ihre Parameter verstehen. Sie beginnt immer mit "http://www.google.com/search?" und von dort aus können wir mehrere Parameter hinzufügen, um zu spezifizieren, was wir wollen. Für dieses Projekt werden wir uns nur auf zwei von ihnen konzentrieren:
Wenn Sie schon einmal mit Suchoperatoren gearbeitet haben, sind Ihnen diese bereits geläufig. Falls nicht, finden Sie hier eine vollständige Liste der Suchoperatoren, die Sie auf jeden Fall zur Hand haben sollten.
Lassen Sie uns also unsere erste Funktion erstellen und unsere Ziel-Suchanfrage erstellen:
defcreate_google_url(query, site=""):
google_dict = {'q': query}
if site :
web = urlparse(site).netloc
google_dict['as_sitesearch'] = web
return 'http://www.google.com/search?' + urlencode(google_dict)
return 'http://www.google.com/search?' + urlencode(google_dict)
Wir werden unsere Abfragen später im Skript festlegen. Für den Moment weisen wir dem q-Parameter query zu - das macht es für Sie einfacher, Änderungen vorzunehmen.
Wichtiger Hinweis
Beim Scraping von organischen Ergebnissen würden wir den Parameter num verwenden, damit Google die maximale Anzahl von Ergebnissen pro Anfrage anzeigt (derzeit 100 Ergebnisse pro Seite). Die Google-Anzeigen werden jedoch seitenweise angezeigt und werden nicht von der Anzahl der Ergebnisse auf der Seite beeinflusst, auf der sie erscheinen.
Mit anderen Worten, es besteht keine Notwendigkeit, diesen Parameter zu verwenden, da wir nur die Anzeigendaten benötigen. Wenn wir mehr "Anzeigenergebnisse" für einen einzelnen Suchbegriff wünschen, müssen wir mehr Anfragen senden - nicht weniger -, um mehr Anzeigen von jeder 10-Ergebnisse-Seite zu extrahieren.
3. Verwendung der ScraperAPI mit Scrapy
Um die ScraperAPI-Funktionen zu nutzen, müssen wir die Anfrage über die Server von ScraperAPI senden. Dazu müssen wir payload und urlencode verwenden, um die Struktur der Anfrage zu erstellen und sie dann in Verbindung mit der Google-Abfrage zu verwenden, die wir gerade erstellt haben.
Fügen wir die folgende Logik vor unserer Funktion create_google_url() ein:
def get_url ( url ):
payload = { 'api_key' : API_KEY , 'url' : url , 'autoparse' : 'true' , 'country_code' : 'us' }
proxy_url="http://api.scraperapi.com/?" + urlencode ( payload )
return proxy_url
In der Nutzlast können wir die verschiedenen Komponenten der ScraperAPI einstellen:
- Der erste ist natürlich unser API-Schlüssel, den wir bereits oben festgelegt haben
- Die url ist die Ziel-URL, die ScraperAPI analysieren soll und die wir mit der Funktion create_google_url() generieren werden
- Wir setzen auto parse auf true, damit die ScraperAPI weiß, dass sie uns die JSON-Daten senden soll
- Schließlich legen wir fest, dass alle Anfragen von US-amerikanischen IP-Adressen gesendet werden sollen
Und das war's, wir sind bereit, unsere Spinne zu schreiben!
4. Erstellen einer benutzerdefinierten Spinne
Um unser Skript auszuführen, müssen wir einen Spider (auch bekannt als Klasse) scrapen. In Scrapy können wir beliebig viele Spider in einem einzigen Projekt erstellen. Das macht es einfacher, große Projekte zu verwalten, bei denen mehrere Websites gescraped werden müssen.
Wir müssen den Endpunkt von ScraperAPI zulassen, da unsere Anfrage an den Server geht und ScraperAPI die Antwort der Zielabfrage abruft.
class GoogleAdSpider(scrapy.Spider):
name="adsy"
allowed_domains = ['api.scraperapi.com']
custom_settings = {'LOG_LEVEL': 'INFO',
'CONCURRENT_REQUESTS_PER_DOMAIN': 10,
'RETRY_TIMES': 5}
Wir konfigurieren auch einige benutzerdefinierte Einstellungen, die in Scrapy integriert sind. Am wichtigsten ist die Konfiguration der gleichzeitigen Anfragen und der maximalen Anzahl von Versuchen.
Wenn Sie mehr über diese benutzerdefinierten Einstellungen erfahren möchten, sind sie in Scrapy sehr gut dokumentiert.
5. Senden der HTTP-Anfragen
Scrapy macht es uns sehr leicht, unsere Anfragen mit der Methode scrapy.Request() zu senden, aber um die Anfragen zu senden, müssen wir zunächst die URL festlegen, und dafür benötigen wir eine Reihe von Abfragen.
In diesem Schritt muss Ihr Team entscheiden, welche Schlüsselwörter für Ihr Unternehmen wichtig sind. Dies wird in der Regel von Ihrem PPC-Team, Ihrem Marketingmanager oder Ihrem SEO-Team erledigt.
Nehmen wir einmal an, wir sind ein Unternehmen für Projektmanagement-Software und möchten sehen, welche Anzeigen zu diesen zehn Schlüsselwörtern erscheinen:
- Projektmanagementsoftware
- Projektmanagement-App
- beste Projektmanagement-Software
- Aufgabenmanagement-Software
- Projektmanagement-Tools
- Vergleich von Projektmanagement-Software
- Projektplanung und -management
- Software für agiles Projektmanagement
- Projekt-Tracker
- Projektmanagement für die Softwareentwicklung
Wir können SEO-Tools verwenden, um diese Begriffe auf der Grundlage von Volumen und Schwierigkeitsgrad zu ermitteln, oder Google mit einem Startschlüsselwort durchsuchen und dann alle Links zu verwandten Begriffen extrahieren und ansteuern.
Wenn Sie diesen Weg gehen möchten, haben wir eine Anleitung zum Scrapen organischer Google-Ergebnisse mit Scrapy erstellt, die Sie sich ansehen können.
Lassen Sie uns nun mit Hilfe dieser Abfragen mit dem Aufbau unserer Funktion beginnen:
def start_requests(self):
queries = [
'project+management+software',
'best+project+management+software',
'project+management+tools',
'project+planning+management',
'project+tracker',
'project+management+app',
'task+management+software',
'comparing+project+management+software',
'agile+project+management+software'
]
Beachten Sie, dass wir alle Leerzeichen durch ein Pluszeichen (+) ersetzen. Dies ist Teil der Standardstruktur von Google, also halten Sie die Augen danach offen.
Wie geht es nun weiter? Wenn wir die Abfragen haben, können wir jetzt unsere Google-Suchanfrage erstellen. Wie Sie sich vorstellen können, wollen wir für jede Abfrage eine andere URL erstellen. Dazu können wir die Liste in einer Schleife durchgehen und jede einzelne an unsere Funktion create_google_url() übergeben:
for query in queries:
url = create_google_url(query)
Und innerhalb der gleichen Schleife übergeben wir die neue URL an die Funktion get_url(), so dass wir sie als Parameter übergeben und eine vollständige ScraperAPI-Methode konstruieren.
yield scrapy.Request(get_url(url), callback=self.parse)
6. Extrahieren von Anzeigendaten aus dem ScraperAPI Auto Parser
Sobald ScraperAPI die Anfragen an Google sendet, wird es mit JSON-Daten zurückkommen. In diesem JSON können wir alle wichtigen Elemente der Suchergebnisseite finden.
Hier finden Sie ein vollständiges Beispiel für die Antwort des Google Auto-Parsers, aber um es kurz zu halten, konzentrieren wir uns auf die Anzeigendaten:
"ads": [
{
"position": 1,
"block_position": "top",
"title": "7 Best VPN Services for 2019 | Unlimited Worldwide Access",
"link": "https://www.vpnmentor.com/greatvpn/",
"displayed_link": "www.vpnmentor.com/Best-VPN/For-2019",
"tracking_link": "https://www.googleadservices.com/pagead/aclk?sa=L&ai=DChcSEwjphbjWlprlAhUHyN4KHR9YC10YABAAGgJ3Yg&ohost=www.google.ca&cid=CAASE-Roa2AtpPVJRsK0-RiAG_RCb3U&sig=AOD64_0dARmaWACDb7wQ5rCwGfAERVWsdg&q=&ved=2ahUKEwj9gLPWlprlAhUztHEKHdnCBBwQ0Qx6BAgSEAE&adurl=",
"description": "Our Best VPN for Streaming Online, Find Your Ideal VPN and Stream Anywhere",
"sitelinks": []
},
{
"position": 2,
"block_position": "top",
"title": "Top 10 Best VPN Egypt | Super Fast VPNs for 2019",
"link": "https://www.top10vpn.com/top10/free-trials/",
"displayed_link": "www.top10vpn.com/Best-VPN/Egypt",
"tracking_link": "https://www.googleadservices.com/pagead/aclk?sa=L&ai=DChcSEwjphbjWlprlAhUHyN4KHR9YC10YABABGgJ3Yg&ohost=www.google.ca&cid=CAASE-Roa2AtpPVJRsK0-RiAG_RCb3U&sig=AOD64_3hbcS-4qdyR_QK0mSCy2UJb61xiw&q=&ved=2ahUKEwj9gLPWlprlAhUztHEKHdnCBBwQ0Qx6BAgTEAE&adurl=",
"description": "Enjoy Unrestricted Access to the Internet. Compare Now & Find the Perfect VPN. Stay Safe & Private Online with a VPN. Access Your Websites & Apps from Anywhere. 24/7 Support. Free Trials. Coupons. Instant Setup. Strong Encryption. Fast Speeds. Beat Censorship.",
"sitelinks": []
}
]
Alle Daten befinden sich innerhalb des Anzeigenobjekts. Wenn wir also eine Schleife durch die einzelnen Elemente innerhalb des Objekts ziehen, können wir alle Elemente auswählen, die wir benötigen.
Lassen Sie uns den Titel, die Beschreibung, den displayed_link und den Link abrufen. Damit es mehr Sinn macht, holen wir uns außerdem den Wert query_desplayed aus dem Objekt search_information.
"search_information": {
"total_results": 338000000,
"time_taken_displayed": 0.47,
"query_displayed": "vpn"
}
Auf diese Weise behalten wir den Überblick, von welcher Suchanfrage jede Anzeige in der Liste stammt.
def parse(self, response):
all_data = json.loads(response.text)
keyword = all_data['search_information']['query_displayed']
Nachdem wir die JSON-Daten in die Variable all_data geladen haben, können wir damit durch die Antwort navigieren und das Element query_displayed abrufen. Dasselbe können wir für den Rest der Anzeigendaten innerhalb einer Schleife tun:
for ads in all_data['ads']:
title = ads['title']
description = ads['description']
displayed_link = ads['displayed_link']
link = ads['link']
Mit anderen Worten, wir weisen jedes Element innerhalb des JSON-Objekts ads einer Variablen ads zu und wählen dann jedes Element aus, um seinen Wert zu extrahieren.
Lassen Sie uns schließlich jeden Satz von Attributen in einem Anzeigenobjekt organisieren und dieses ausgeben - immer innerhalb der Schleife:
ad = {
'keyword': keyword,'title': title, 'description': description, 'Displayed Link': displayed_link, 'Link': link
}
yield ad
Jetzt haben wir für jede Iteration der Schleife einen Anzeigenartikel, in dem alle Daten organisiert sind.
7. Führen Sie den Spider aus und exportieren Sie die Daten in eine JSON-Datei
Wenn Sie uns bis jetzt gefolgt sind, sollte Ihr Python-Skript folgendermaßen aussehen:
import scrapy
from urllib.parse import urlencode
from urllib.parse import urlparse
import json
API_KEY = 'your_api_key'
#constructing the ScraperAPI method
def get_url(url):
payload = {'api_key': API_KEY, 'url': url, 'autoparse': 'true', 'country_code': 'us'}
proxy_url="http://api.scraperapi.com/?" + urlencode(payload)
return proxy_url
#building the Google search query
def create_google_url(query, site=""):
google_dict = {'q': query, 'num': 10, }
if site:
web = urlparse(site).netloc
google_dict['as_sitesearch'] = web
return 'http://www.google.com/search?' + urlencode(google_dict)
return 'http://www.google.com/search?' + urlencode(google_dict)
class GoogleAdSpider(scrapy.Spider):
name="adsy"
allowed_domains = ['api.scraperapi.com']
custom_settings = {'ROBOTSTXT_OBEY': False, 'LOG_LEVEL': 'INFO',
'CONCURRENT_REQUESTS_PER_DOMAIN': 10,
'RETRY_TIMES': 5}
#sending the requests
def start_requests(self):
queries = [
'project+management+sotware',
'best+project+management+software',
'project+management+tools',
'project+planning+&+management',
'project+tracker',
'project+management+app',
'task+management+software',
'comparing+project+management+software',
'agile+project+management+software'
]
for query in queries:
#constructing the Google search query
url = create_google_url(query)
#adding the url to ScraperAPI endpoint
yield scrapy.Request(get_url(url), callback=self.parse)
def parse(self, response):
all_data = json.loads(response.text)
#grabbing the keyword for organization
keyword = all_data['search_information']['query_displayed']
#lopping through each item inside the ads object
for ads in all_data['ads']:
title = ads['title']
description = ads['description']
displayed_link = ads['displayed_link']
link = ads['link']
ad = {
'keyword': keyword,'title': title, 'description': description, 'Displayed Link': displayed_link, 'Link': link
}
yield ad
Denken Sie daran: Sie müssen Ihren API-Schlüssel hinzufügen, damit dies funktioniert.
Um Ihren Spider auszuführen und alle Daten in eine JSON-Datei zu exportieren, verwenden Sie den Befehl...
scrapy runspider g_adscraper.py -o ad_data.json
...und voilà! Wir haben gerade 48 Anzeigen in 34 Sekunden ausgewertet und alles in eine JSON-Datei eingefügt.
Wenn Sie es noch nicht ausgeführt haben, zeigen wir Ihnen einige Beispiele aus der Datei, die Sie gleich erstellen werden:
{
"keyword": "comparing+project+management+software",
"title": "10 Best Project Management - Side-by-Side Comparison (2022)",
"description": "Compare the Best Project Management Software. Plan, Track, Organize, and Manage Your Time. Powerful, Flexible Project Management for Any Team. Task Management & Custom...",
"Displayed Link": "https://www.consumervoice.org/top-software/project-manager",
"Link": "https://www.consumervoice.org/top-project-management-software"
},
{
"keyword": "project+management+sotware",
"title": "Project Management Software - Plan, Track, Collaborate",
"description": "Plan projects, track progress, and collaborate with your team. Sign up for free!",
"Displayed Link": "https://www.zoho.com/",
"Link": "https://www.zoho.com/projects/"
},
{
"keyword": "task+management+software",
"title": "10 Best Task Management Tools - 10 Best Task Management App",
"description": "The Comfort Of a Simple Task Management Software Is Priceless. Apply Today & Save! Team Tasks Management Made Oh-So Easy! Get Your Work Going with These Great...",
"Displayed Link": "https://www.top10.com/task_management/special_offer",
"Link": "https://www.top10.com/project-management/task-manager-comparison"
},
Anmerkung: Wenn Sie das Schlüsselwort Element sauberer machen wollen, können Sie die .replace() Methode wie folgt:
keyword = all_data['search_information']['query_displayed'].replace("+", " ")
Das Pluszeichen (+) wird durch ein Leerzeichen ersetzt.
{
"keyword": "best project management software",
"title": "Project Management Software - Plan, Track, Execute, Report",
"description": "Plan projects, track progress, and collaborate with your team. Sign up for free! Get work done on time, all the time. Start with 2 projects free today! Simplify complex tasks.",
"Displayed Link": "https://www.zoho.com/projects",
"Link": "https://www.zoho.com/projects/"
}
Eine kurze Betrachtung
Bevor wir uns verabschieden, sollten Sie etwas Wichtiges verstehen. Jede Seite in der SERPs-Reihe einer Suchanfrage...
... zeigen unterschiedliche Anzeigen an. Es mag also eine gute Idee sein, diesen Links für jede Anfrage zu folgen und alle Daten zu extrahieren, die Sie bekommen können.
Auch wenn dies einen gewissen Wert haben könnte, ist es in Wirklichkeit so, dass nur ein winziger Prozentsatz des Traffics auf Seite 2 geht und fast niemand auf Seite 3 klickt. Denken Sie nur an das letzte Mal, als Sie auf Seite 2 geklickt haben.
ScraperAPI stellt Ihnen den folgenden Link innerhalb des ['pagination']['nextPageUrl']-Objekts zur Verfügung, aber dies wird eher zum Scrapen von organischen Suchergebnissen, verwandten Suchanfragen und auch von Frageboxen empfohlen.
Wir empfehlen, Seite 1 für jede Keyword-Variation für Google Ads-Daten zu scrapen.
Zum Abschluss: Die nächsten Schritte zur Skalierung Ihres Projekts
Das haben Sie bisher gut gemacht! Wir hoffen, Sie haben das eine oder andere gelernt, und wir sind gespannt, was Sie damit bauen werden.
Wenn Sie nicht wissen, wie es weitergehen soll, können Sie dieses Projekt ausweiten, indem Sie eine längere Liste von Schlüsselwörtern erstellen. Wir empfehlen Ihnen, ein Tool wie Answer the Public zu verwenden, um eine Liste relevanter Schlüsselwörter zu erstellen und Ihr Skript die Suchanfragen von dort aus lesen zu lassen.
Zur ständigen Überwachung können Sie auch dafür sorgen, dass Ihr Google Ads Scraper jedes Mal, wenn Sie die Tabelle mit neuen Keywords aktualisieren, eine neue Anfrage dafür sendet.
Wenn Sie in PPC investieren möchten, aber in verschiedenen Sprachen, können Sie auch einen neuen Spider erstellen und den Parameter country_code in der Nutzlast ändern. Dies ist zum Beispiel nützlich, wenn Sie Anzeigen in verschiedenen Ländern schalten möchten, die dieselbe Sprache sprechen (z.B. Großbritannien, USA, Kanada usw.)
Solange Sie Ihren Geist für die Möglichkeiten offen halten, werden Sie immer mehr Möglichkeiten finden, Daten schneller zu sammeln und sie für ROI-positive Kampagnen zu nutzen.
Wenn Sie mehr über Marketing und Web Scraping erfahren möchten, haben wir alle Möglichkeiten aufgeschlüsselt, wie Web Scraping Ihnen helfen kann, bessere Marketingentscheidungen zu treffen.
Bis zum nächsten Mal, viel Spaß beim Schaben!
