Für Unternehmen ist es einfach, bei der Datenerfassung in die Tasche zu greifen. Sie verfügen über Budgets, um verschiedene Methoden zur Analyse von Datenpunkten einzusetzen, die es ihnen ermöglichen, genauere Entscheidungen zu treffen. Im Gegenzug verschaffen sie anderen einen unfairen Vorteil.
Daten sind jedoch nicht nur etwas für große Unternehmen. Jedes kleine Unternehmen kann Web Scraping nutzen, um seine Datenerfassung zu erweitern und von denselben Vorteilen zu profitieren. (Tatsächlich kann Web Scraping Ihnen helfen, Ihre Kosten zu senken, indem Sie Ihre Entscheidungsfindung optimieren und sich wiederholende, zeitraubende Aufgaben automatisieren).
Um Ihnen den Einstieg zu erleichtern, finden Sie hier fünf Anwendungsfälle, mit denen Sie Ihr Geschäft ausbauen können (einschließlich Code-Schnipseln!), ohne Ihr Budget zu sprengen:
Inhaltsübersicht
1. Markenüberwachung und Online-Reputationsmanagement
Es ist wichtig zu wissen, wie Ihr Publikum über Ihre Marke, Ihr Produkt und Ihre Dienstleistungen denkt. Wenn Sie dies verstehen, können Sie die Konversation verändern, indem Sie Schwachpunkte oder Dinge, die nicht funktionieren, ansprechen.
Die Beobachtung der Online-Konversationen rund um Ihre Marke kann Ihnen auch dabei helfen, die Richtung zu bestimmen, die Sie einschlagen müssen (z.B. neue Produkte auf den Markt zu bringen oder neue Funktionen hinzuzufügen), oder sogar mögliche PR-Katastrophen zu verhindern.
Dazu müsste Ihr Team ständig soziale Medien, Websites, Foren und Aggregatoren durchforsten, um die dort stattfindenden Unterhaltungen zu sammeln. Wie Sie sich vorstellen können, ist dies unabhängig von der Größe Ihres Teams eine unmögliche Aufgabe, die Sie manuell erledigen müssen, ohne einen großen Teil Ihres Marketing- oder PR-Budgets dafür zu verwenden. Stattdessen können Sie einen Web Scraper verwenden, um die Plattformen, auf denen diese Unterhaltungen stattfinden, wie Foren und soziale Medien, zu durchsuchen und den Prozess zu automatisieren.
Wenn Sie diese Daten auswerten, können Sie die Konversationen rund um Ihre Branche und Ihre Marke analysieren, um zu verstehen, ob die geteilte Stimmung positiv oder negativ ist und um interessante Einblicke von Ihren Kunden zu erhalten.
Beispiel-Skript: Scrapen von Twitter-Daten mit Python
Es gibt zwar viele Quellen, die Sie scrapen können, aber hier ist ein einfaches, aber leistungsstarkes Python-Skript, mit dem Sie Twitter-Daten in einer CSV-Datei abrufen können:
</p>
import snscrape.modules.twitter as sntwitter
import pandas as pd
hashtag = 'scraperapi'
Grenze = 10
tweets = []
for tweet in sntwitter.TwitterHashtagScraper(hashtag).get_items():
if len(tweets) == limit:
break
sonst:
tweets.append([tweet.date, tweet.user.username, tweet.rawContentcontent])
df = pd.DataFrame(tweets, columns=['Datum', 'Benutzer', 'Tweet'])
df.to_csv('scraped-tweets.csv', index=False, encoding='utf-8')
<p>
Mit diesem Skript können Sie Daten von jedem Twitter-Hashtag sammeln. Genauer gesagt, können Sie das Datum, den Benutzernamen und den Inhalt jedes Tweets innerhalb der Hashtag-Ergebnisse erfassen und alles als CSV-Datei exportieren lassen. Für dieses Beispiel haben wir nach #scraperapi gesucht und das Limit auf 10 gesetzt. Hier ist die resultierende CSV-Datei:
Einige Überlegungen zur Verwendung des Skripts:
- Sie können den Hashtag, den Sie scrapen möchten, ändern, indem Sie das Wort in der Variable >hashtag> ändern
- Fügen Sie dem Hashtag kein Pfund-Symbol hinzu, sonst funktioniert er nicht.
- Sie können die Anzahl der zurückgegebenen Tweets ändern, indem Sie die Zahl in der Variable limit ändern
- Sie müssen Python und die Requests-Bibliothek auf Ihrem Rechner installiert haben
Wenn Sie sich nicht sicher sind, wie Sie es einrichten sollen, oder wenn Sie lernen möchten, wie Sie erweiterte Abfragen und Hashtags abrufen können, lesen Sie unser Tutorial zum Abrufen von Twitter-Daten.
2. Preis Intelligenz
Ein entscheidender Teil Ihrer Geschäftsstrategie ist die Preisgestaltung Ihrer Produkte.
Eine gute Preisstrategie stellt sicher, dass Sie den Wert Ihrer Produkte optimieren und Ihre Gewinnmargen erhöhen, ohne Ihren Umsatz zu beeinträchtigen oder Ihre Kunden zu verprellen. Um Ihre Preisgestaltung zu optimieren, brauchen Sie mehr als nur die reinen Kosten Ihres Betriebs. Sie müssen die Marktveränderungen und die Preismodelle Ihrer Konkurrenten verstehen, damit Sie eine Strategie entwickeln können, die Ihre Wettbewerbsfähigkeit garantiert. Die Sammlung ausreichender Daten (in Bezug auf Menge und Vielfalt), um aussagekräftige Schlussfolgerungen zu ziehen, würde Ihr Team jedoch überfordern.
Stattdessen können Sie Web Scraping verwenden, um diese Informationen automatisch abzurufen, z. B. von Marktplätzen und den Preisseiten der Konkurrenz. Für den Anfang und wenn Sie in der E-Commerce-Nische tätig sind, empfehlen wir Ihnen, mit zwei der größten Quellen für Produktdaten zu beginnen:
Amazon und Google Shopping.
Wenn Sie Preisdaten von diesen Plattformen abrufen, können Sie herausfinden, wie viel der durchschnittliche Kunde für ähnliche Produkte bezahlt, wie viel Ihre Konkurrenten verlangen und sogar die Preise, die Wiederverkäufer üblicherweise festlegen. Außerdem können Sie durch die regelmäßige Erfassung von Produktdaten einen historischen Datensatz aufbauen, den Sie dann analysieren können, um Preistrends und -veränderungen vor Ihren Konkurrenten zu erkennen und sogar automatisierte Systeme zur dynamischen Änderung Ihrer Preise einzurichten.
Beispiel-Skript: Scrapen Sie Produktdaten von Google Shopping
Hier ist ein gebrauchsfertiges Skript, mit dem Sie Preisinformationen von Google Shopping innerhalb einer bestimmten Suchanfrage abrufen können:
</p>
Importanträge
json importieren
Produkte = []
payload = {
'api_key': 'IHR_API_SCHLÜSSEL',
'abfrage': 'gps+tracker'
}
response = requests.get('https://api.scraperapi.com/structured/google/shopping', params=payload)
produkt_daten = response.json()
for product in product_data["shopping_results"]:
produkte.append({
'Produktname': produkt["Titel"],
'Preis': produkt["preis"],
'URL': produkt["link"],
})
with open('preise.json', 'w', encoding='utf-8') as file:
json.dump(produkte, datei, ensure_ascii=False, indent=4)
<p>
In diesem Beispiel haben wir die Suchanfrage "GPS-Tracker" ausgewertet und den Namen, den Preis und die URL jedes Produkts in den Suchergebnissen extrahiert. Nachdem das Skript ausgeführt wurde, ist das Endergebnis eine JSON-Datei mit 60 Produkten:
Einige Überlegungen zur Verwendung des Skripts:
- Um den Code zu vereinfachen, verwenden wir den Goolge Shopping-Endpunkt von ScraperAPI, der sich um die meisten technischen Aspekte kümmert, so dass wir uns auf die Abfragen konzentrieren können, aus denen wir Daten extrahieren möchten
- Sie müssen ein kostenloses ScraperAPI-Konto einrichten, um Zugang zu Ihrem API-Schlüssel zu erhalten. Sie erhalten dann 5.000 kostenlose API-Credits, so dass Sie sich nicht an einen kostenpflichtigen Plan binden müssen, um dieses Skript zu nutzen.
- Fügen Sie Ihren API-Schlüssel in den Parameter api_key ein
- Ändern Sie das Schlüsselwort, das Sie scrapen möchten, im Abfrageparameter, aber beachten Sie, dass Sie die Leerzeichen durch ein Pluszeichen ersetzen müssen
- Dieses Skript erstellt immer eine neue Datei oder überschreibt eine vorhandene Datei mit demselben Namen. Es gibt zwei schnelle Lösungen, um dieses Verhalten zu ändern, wenn Sie dies wünschen
- Ändern Sie den Namen "with open('[Dateiname].json', 'w', encoding='utf-8′) as file:", um eine neue Datei zu erstellen, oder
- Ändern Sie den Parameter "w" in ein "a", damit das Skript weiß, dass es die Daten an die gleichnamige Datei anhängen soll "with open('prices.json', 'a', encoding='utf-8′) as file:"
Um Ihr Wissen zu vertiefen, finden Sie hier eine vollständige Anleitung zum Scrapen von Amazon-Produktdaten (einschließlich Preisen und Bildern), der Sie folgen können.
Wenn Sie mehr über E-Commerce Scraping erfahren möchten, lesen Sie unseren Leitfaden zum Extrahieren von Produktdaten von Etsy und eBay Web Scraping Grundlagen.
3. B2B-Lead-Generierung
Leads sind das Herzstück Ihrer Geschäfte, aber ein System zu schaffen, das eine Konstante garantiert, ist nicht so einfach, wie andere vielleicht denken.
Für B2B-Unternehmen ist die Generierung eines ständigen Stroms neuer Interessenten für Ihre Dienstleistungen und Produkte so wichtig wie die Luft für einen Menschen.
Ohne angemessene Planung und moderne Hilfsmittel kann dieser Prozess zu einer hohen Ausgabe werden, die Ihr Geschäft leicht zum Scheitern bringt. Schließlich wirkt sich die Lead-Generierung direkt auf Ihre Kundenakquisitionskosten aus.
Sie wissen wahrscheinlich schon, worauf wir hinauswollen, oder?
Mit Web Scraping können Sie B2B-Leads zu viel geringeren Kosten und in größerem Umfang sammeln. Der Aufbau eigener Lead-Pipelines sorgt für niedrigere CACs und ermöglicht es Ihrem Vertriebsteam, das zu tun, was es am besten kann: verkaufen! Sie können die Daten von Unternehmen aus offenen Verzeichnissen und öffentlichen Plattformen aus dem ganzen Internet sammeln. Es geht also eher darum, klare Kriterien festzulegen, wo und welche Art von Informationen Sie sammeln. Sie müssen sich keine Gedanken mehr darüber machen, ob Sie gute Interessenten finden oder nicht.
Einige Plattformen, die Sie sich für den Anfang ansehen können, sind:
- Kupplung
- G2
- Google maps
- DnB
- Glassdoor
Sie können aber auch auf nischenspezifischen Plattformen nach der Art von Leads suchen, nach denen Sie suchen.
Beispiel-Skript: Scrapen Sie Glassdoor-Unternehmensdaten
Hier ein Beispiel für ein Skript, das die bestplatzierten Unternehmen in der Glassdoor-Kategorie Bildung abruft:
</p>
Importanträge
from bs4 importieren BeautifulSoup
importieren json
companies_data = []
payload = {
'api_key': 'IHR_API_SCHLÜSSEL',
'render': 'true',
'url': 'https://www.glassdoor.com/Explore/browse-companies.htm?overall_rating_low=3.5&page=1§or=10009&filterType=RATING_OVERALL'
}
response = requests.get('https://api.scraperapi.com', params=payload)
soup = BeautifulSoup(response.content, 'html.parser')
Unternehmenskarten = soup.select('div[data-test="arbeitgeber-karte-einzeln"]')
for unternehmen in unternehmen_karten:
firma_name = firma.find('h2', attrs={'data-test': 'arbeitgeber-kurzname'}).text
firma_grösse = firma.find('span', attrs={'data-test': 'arbeitgeber-grösse'}).text
branche = firma.find('span', attrs={'data-test': 'arbeitgeber-branche'}).text
beschreibung = firma.find('p', class_='css-1sj9xzx').text
companies_data.append({
'Unternehmen': unternehmen_name,
'Größe': unternehmen_größe,
'Branche': Branche,
'Beschreibung': Beschreibung
})
with open('unternehmen.json', 'w', encoding='utf-8') as file:
json.dump(firmen_daten, file, ensure_ascii=False, indent=4)
<p>
Im Gegensatz zu unseren beiden vorherigen Beispielen erfordert Glassdoor ein mehr maßgeschneidertes Skript. Wir haben dieses Skript mit den Python-Bibliotheken Requests und BeautifulSoup geschrieben, um den Namen, die Größe, die Branche und die Beschreibung der einzelnen Unternehmen zu extrahieren. (Wir verwenden auch den Endpunkt von ScraperAPI, um die Anti-Scraping-Maßnahmen von Glassdoor zu umgehen und zu vermeiden, dass unsere IP blockiert wird).
Hier ist die resultierende JSON-Datei:
Natürlich können Sie noch weiter gehen und mehrere Kategorien und die gesamte paginierte Reihe dieser Kategorie scrapen und in wenigen Minuten eine Liste mit Hunderten von Unternehmen erstellen. Um die genauen Schritte zu erfahren, die wir bei der Erstellung dieses Skripts befolgt haben, und um zu verstehen, wie Sie dieses Projekt für Ihr Unternehmen skalieren können, sehen Sie sich unser Glassdoor Scraping-Tutorial an.
Nach der Lektüre des Tutorials können Sie dasselbe Skript verwenden, um Daten aus anderen Kategorien zu extrahieren und verschiedene Filteroptionen einzustellen, um Ihre Lead-Liste auf die Unternehmen einzugrenzen, an denen Sie interessiert sind.
4. Beobachten Sie die Suchanzeigen Ihrer Konkurrenten
Anzeigen gehören zu den größten Ausgaben im Marketing. Daher ist es entscheidend, die richtigen Schlüsselwörter auszuwählen und die Texte Ihrer Anzeigen und Landing Pages zu optimieren, um die CTR und die Konversionsraten zu erhöhen. Wie bei jeder anderen Investition kann das Sammeln relevanter Daten zur Erstellung faktenbasierter Hypothesen Ihnen helfen, sicherer zu investieren und den gesamten Prozess zu optimieren.
Im Falle von Anzeigen ist es wichtig, die Positionierung Ihrer Konkurrenten zu kennen, zu wissen, wo sie investieren, wie oft sie auf den Suchmaschinenergebnisseiten (SERPs) erscheinen und welche Landing Pages am besten funktionieren. So erhalten Sie ein klares Bild für Ihr Anzeigenteam, das diese Daten nutzen kann, um Ihre Kampagnen zu optimieren, Kosten zu senken und den ROI zu verbessern.
Beispiel-Skript: Anzeigendaten aus Google-Suchergebnissen extrahieren
Dieses Mal verwenden wir die ScraperAPI Google Suche Endpunkt, um die Anzeigen in den SERPs für unser Ziel-Keyword zu extrahieren:
</p>
Importanträge
json importieren
all_ads = []
payload = {
'api_key': 'IHR_API_SCHLÜSSEL',
'land': 'us',
'abfrage': 'web+hosting'
}
response = requests.get('https://api.scraperapi.com/structured/google/search', params=payload)
Ergebnisse = response.json()
for ad in results["ads"]:
all_ads.append({
'Titel': ad["title"],
'Beschreibung': ad["description"],
'Landung': ad["link"]
})
with open('search_ads.json', 'w', encoding='utf-8') as file:
json.dump(alle_anzeigen, file, ensure_ascii=False, indent=4)
<p>
Wenn Sie das Skript ausführen, extrahiert ScraperAPI den Titel, die Beschreibung und die URL jeder Anzeige, die es auf der Suchergebnisseite für das Ziel-Keyword findet, und sendet die Daten an eine JSON-Datei. Sie könnten zwar noch mehr Seiten scrapen, aber auf diese Anzeigen gehen fast keine Klicks, so dass es in Ordnung ist, sich auf die Anzeigen auf Seite eins jedes Suchbegriffs zu beschränken, an dem Sie interessiert sind.
Einige Überlegungen zur Verwendung dieses Skripts:
- Wie zuvor benötigen Sie ein kostenloses ScraperAPI-Konto und fügen die API im api_key-Parameter in der Nutzlast hinzu
- Legen Sie das gewünschte Schlüsselwort innerhalb des Abfrageparameters fest, indem Sie Leerzeichen durch ein Pluszeichen (+) ersetzen.
- Da Anzeigen ortsabhängig sind, ändern Sie den Länderwert mit einem der folgenden Ländercodes in den gewünschten Ort
- Ändern Sie den Namen der Datei oder setzen Sie sie auf Anhängen ('a'), um den Verlust früherer Daten zu vermeiden.
Wenn Sie mehr erfahren möchten, lesen Sie unseren Leitfaden über das Scraping von Konkurrenzdaten zur Verbesserung Ihrer Werbekampagnen und darüber, wie Web Scraping die Entscheidungsfindung im Marketing verbessern kann.
5. Bestands- und Finanzüberwachung
Kleine Investmentfirmen wissen, wie wichtig Daten sind, um leistungsstarke und risikoarme Investitionen zu tätigen. Ohne genaue Daten ist es schwer, Marktbewegungen zu verstehen und vorherzusagen. Dies führt dazu, dass große Chancen verpasst werden oder, schlimmer noch, dass Verluste nicht vorhergesehen und verhindert werden können.
Für kleine und mittlere Unternehmen im Finanzbereich kann jeder Rückschlag sie aus dem Rennen werfen, so dass die Datenerfassung für Ihren Betrieb noch wichtiger wird. Mit Web Scraping können Sie alternative Datenpipelines aufbauen, um so viele Daten wie möglich über die Unternehmen zu sammeln, in die Sie investieren möchten.
Einige der wichtigsten Datenpunkte, die Sie automatisch und konsistent erfassen können, sind Produktdaten, Aktienkurse und Finanznachrichten in Echtzeit.
Beispiel-Skript: Aktiendaten von Investing.com extrahieren
Um Ihnen den Einstieg zu erleichtern, finden Sie hier ein benutzerfreundliches Skript zum Sammeln von Aktiendaten von Investing.com:
</p>
Importanträge
from bs4 importieren BeautifulSoup
csv importieren
from urllib.parse import urlencode
urls = [
'https://www.investing.com/equities/nike',
'https://www.investing.com/equities/coca-cola-co',
'https://www.investing.com/equities/microsoft-corp',
]
file = open('aktienkurse.csv', 'w')
writer = csv.writer(datei)
writer.writerow(['Unternehmen', 'Kurs', 'Veränderung'])
for url in urls:
params = {'api_key': 'IHR_API_KEY', 'render': 'true', 'url': url}
Seite = requests.get('http://api.scraperapi.com/', params=urlencode(params))
soup = BeautifulSoup(page.text, 'html.parser')
Firma = soup.find('h1', {'class':'text-2xl font-semibold instrument-header_title__gCaMF mobile:mb-2'}).text
preis = soup.find('div', {'class': 'instrument-preis_instrument-preis__xfgbB flex items-end flex-wrap font-bold'}).select('span')[0].text
change = soup.find('div', {'class': 'instrument-preis_instrument-preis__xfgbB flex items-end flex-wrap font-bold'}).select('span')[2].text
print('Laden :', url)
print(firma, preis, ändern)
writer.writerow([firma.encode('utf-8'), preis.encode('utf-8'), change.encode('utf-8')])
file.close()
<p>
Wenn Sie das Skript ausführen, erstellt es eine neue CSV-Datei mit dem Namen, dem Preis und der prozentualen Veränderung jeder Aktie, die Sie der >Liste hinzugefügt haben. In diesem Beispiel haben wir Daten für Nike, Coca-Cola und Microsoft gesammelt:
Ein paar Überlegungen zur Verwendung dieses Skripts:
- Bevor Sie es ausführen, erstellen Sie ein kostenloses ScraperAPI-Konto und fügen Sie Ihren API-Schlüssel in den entsprechenden Parameter ein
- Wenn Sie zu einer Aktienseite in Investing.com navigieren, wird eine URL wie https://www.investing.com/equities/amazon-com-inc generiert. Fügen Sie alle URLs, die Sie überwachen möchten, zur Liste der URLs hinzu - es ist keine zusätzliche Konfiguration erforderlich
- So wie es ist, erstellt das Skript jedes Mal eine neue Datei. Sie können dieses Verhalten jedoch ändern, so dass es eine neue Spalte in einer bestehenden Datei erstellt. Auf diese Weise können Sie mit dem Aufbau eines historischen Datensatzes beginnen und nicht nur mit einmaligen Datenpunkten.
Wenn Sie wissen möchten, wie wir dieses Skript entwickelt haben, sehen Sie sich unsere Anleitung zum Scraping von Aktienkursen an. Sie können unseren Gedankengang Schritt für Schritt nachvollziehen.
Einpacken
Anstatt ganze Teams mit dem Sammeln, Bereinigen und Analysieren von Daten zu beschäftigen, können Sie mit Web Scraping all diese zeitraubenden Aufgaben automatisieren.
In diesem Artikel haben wir nur an der Oberfläche der vielen Möglichkeiten gekratzt, die Web Scraping für Ihr Unternehmen eröffnen kann. Wenn Sie offen sind, kann ein Scraper ein leistungsstarkes Werkzeug sein, um Ihre Entscheidungsfindung zu unterstützen, ganze Prozesse wie Datenmigration und Dateneingabe zu automatisieren, Datenquellen in eine einzige Datenbank oder ein Dashboard zu integrieren und vieles mehr.
Wir hoffen, dass eines dieser fünf Skripte Ihnen den Einstieg in das Web Scraping erleichtern kann. Wenn Sie ganz neu sind, sollten Sie einen Blick in unseren Blog werfen. Dort finden Sie viele Projekte, von denen Sie lernen und sich inspirieren lassen können.
Bis zum nächsten Mal, viel Spaß beim Schaben!
