Wie man Web Scraping für die Rekrutierung nutzt

Wie können Personalvermittler von Web Scraping profitieren?

Die Suche nach den Talenten, die Sie für Ihr Unternehmen benötigen, ist für den Erfolg unerlässlich, kann aber zeitaufwändig und mühsam sein. Es gibt viele Agenturen und Mitarbeiter zu finden und viele Datenbanken zu durchsuchen. Glücklicherweise können Scraper einen Teil der Arbeit automatisieren.

Die Technik des Data Scraping ist eine zeit- und kosteneffiziente Methode, um die relevantesten Stellenausschreibungen zu finden. Es ist auch eine gute Möglichkeit für einzelne Stellensuchende, alle benötigten Informationen über ein Unternehmen oder eine Institution zu erhalten.

Unternehmen und Institutionen nutzen diese Methode auch, um festzustellen, welche Stellen auf dem Arbeitsmarkt gefragt sind, welche Fähigkeiten benötigt werden, wie viel Gehalt potenziellen Bewerbern angeboten werden sollte usw.

Der Web Scraping Service hilft bei der Extraktion von Informationen aus verschiedenen Quellen wie sozialen Medien, Jobbörsen oder anderen Websites. Die extrahierten Daten können dann mit verschiedenen Analysetools analysiert werden, um herauszufinden, welche Art von Person am besten für die Stelle geeignet wäre. Die ständige Datenanalyse ist ein grundlegender Prozess, der dabei hilft, Entscheidungen zu treffen und die Effizienz des Unternehmens zu verbessern.

Mit Web Scraping Tools können Sie schnell und effizient suchen:

• Neue Mitarbeiter;
• Unternehmen, die in den Zielindustrien tätig sind;
• Besondere Objekte, die Sie interessieren.

Im letzten Fall können die Kriterien spezifisch sein. Mit Web Scraping ist es beispielsweise einfach, eine Liste aller potenziellen Mitarbeiter zu finden, die in New York leben, mehr als fünf Jahre Berufserfahrung haben und derzeit auf Stellensuche sind.

Nehmen wir an, Sie müssen einen C++-Entwickler mit zehn Jahren Erfahrung, einem Portfolio und mehreren Projekten auf GitHub finden, der aktiv nach einer Stelle sucht.

Dazu müssen Sie zunächst alle potenziellen Mitarbeiter finden, die derzeit arbeitslos sind. Hierfür eignen sich die Dienste von Monster, Indeed und LinkedIn. Die Suchergebnisse können mit einem Scraper gecrawlt und in praktischen Tabellen zusammengefasst werden, die sich später bequem auswerten lassen. Nehmen wir an, wir interessieren uns nur für den Nachnamen, den Profil-Link, die Berufserfahrung, die aktuelle Verfügbarkeit der Stelle und den GitHub-Link. 

Sobald die Tabelle nach Berufserfahrung, Jobverfügbarkeit und GitHub-Link gefiltert ist, können Sie mit dem Analyseteil der Projekte fortfahren. Dazu müssen Sie den Links aller Benutzer folgen und Daten über deren Projekte abrufen. Das reicht aus, um zu verstehen, wofür sich eine Person interessiert, wie hoch ihre Kenntnisse und Fähigkeiten sind und welche Sprachen sie schreiben kann.

Und das Beste daran ist, dass all diese Informationen automatisch abgerufen werden können. Und schon mit diesen Daten können Sie eine Menge über einen Mitarbeiter erfahren.

Suche nach den qualifiziertesten Bewerbern

Bevor Sie diese Informationen erhalten, müssen Sie sich entscheiden, wie Sie sie erhalten wollen. Es gibt mehrere Möglichkeiten, solche Daten automatisch zu erhalten:

1. Kauf von vorgefertigten Datenbanken nach bestimmten Kriterien. Sie sollten jedoch bedenken, dass Sie solche Datenbanken oft kaufen müssen und dass nicht immer garantiert werden kann, dass sie qualitativ hochwertig oder vollständig sind.
2. Die Verwendung von vorgefertigten Scraping-Tools. Diese Option ist billiger als die vorherige und erlaubt es Ihnen zu entscheiden, welche Daten gescraped werden sollen, ist aber nicht flexibel. Und daher funktionieren sie möglicherweise nicht auf Websites mit komplexen Strukturen.
3. Entwicklung einer neuen Anwendung zur Datenerfassung von Grund auf. Aber dann müssen Sie verschiedene Maßnahmen gegen IP-Sperren ergreifen, nach Proxies suchen, Captcha-Lösungsdienste anschließen und vieles mehr.
4. Schaffen Sie eine interne Infrastruktur für das Sammeln von Daten mit Hilfe von Web Scraping-APIs, die Ihnen helfen, alle für Web Scraping typischen Probleme zu bewältigen, die wir im vorherigen Absatz aufgeführt haben.

Es lohnt sich, ihre Vor- und Nachteile zu verstehen, um zu entscheiden, welche Option geeignet ist. Der Kauf von neuen Basen ist die einfachste und teuerste Option. Außerdem sind Sie nicht derjenige, der Zugriff auf die erhaltenen Daten hat, sondern derjenige, der sie zur Verfügung stellt. Ihre Daten können also mehr als einmal weiterverkauft werden. Außerdem wird dann ihre Relevanz in Frage gestellt.

Die Verwendung fertiger Scraping-Tools ist, wie bereits erwähnt, ein billigeres, aber weniger flexibles Werkzeug. In der Regel ist es nur möglich, Daten in der von den Entwicklern bereitgestellten Form zu erhalten, und das ist nicht immer bequem. 

Die Entwicklung Ihrer Anwendung ist eine gute Lösung, aber nur für diejenigen, die über umfangreiche Programmierkenntnisse oder ein Team von Programmierern und Analytikern verfügen. Der Vorteil ist jedoch, dass die Anwendung von niemandem abhängig ist. Allerdings stellt sich dann das Problem der Umgehung von Sperren.

Und die letzte Option ist der Aufbau einer internen Job Scraping-Infrastruktur. Sie ist optimal und ermöglicht es Ihnen, aktuelle Daten zu geringen Kosten zu erhalten, ohne sich um Proxys und Sperrungen zu kümmern.

Die ersten beiden Optionen bedürfen keiner ausführlichen Erklärung. Für die dritte Option haben wir einige Artikel:

1. Eine Einführung in das Scraping von Websites mit Axios und Cheerio
2. Web Scraping mit C#
3. Web Scraping mit Python: von den Grundlagen zur Praxis
4. Web Scraping mit Selenium Python

Daher werden wir uns in diesem Artikel auf die letzte Option konzentrieren.

Sammeln von HR-Daten mit Web Scraping API

Um die Web Scraping API zu nutzen, registrieren Sie sich für unseren Service. Danach erhalten Sie 1000 kostenlose API-Credits, die Sie einen Monat lang zum Testen verwenden können.

Um zu verstehen, wie Abfragen funktionieren und wie man sie zusammenstellt, werden wir einen speziellen Builder verwenden. Sie können die Felder auf der rechten Seite des Fensters verwenden, um die Abfrage anzupassen, und anschließend die resultierende Abfrage ausführen. Lassen Sie uns Daten von Indeed Find jobs abrufen. 

Wir verwenden zum Beispiel die Abfrage "Entwickler". Fügen Sie in das Feld "URL" einen Link zu der Suchergebnisseite ein. Wenn Sie den Scraper jetzt ausführen, erhalten Sie den Quellcode der Seite, der weiter verarbeitet werden muss, um die gewünschten Daten zu extrahieren.

Um die gewünschten Daten sofort im JSON-Format zu erhalten, verwenden Sie "Extraktionsregeln". Gehen Sie dazu auf die Website der Indeed-Ergebnisseite und erkunden Sie sie. Gehen Sie dazu zu DevTools (F12) und wählen Sie einen beliebigen Titel aus, um dessen Code zu erhalten.

Klicken Sie anschließend mit der rechten Maustaste auf das Element im Codefeld und kopieren Sie seinen Selektor. In unserem Fall sieht der Selektor für Jobtitel wie folgt aus:

a.jcs-JobTitle.css-jspxzf.eu4oa1w0

Wenn Sie nun den resultierenden Selektor in die Extraktionsregeln einfügen, wird das Ergebnis der Abfrage viel besser sein:

In ähnlicher Weise können Sie absolut alle wertvollen Daten von Recruiting-Websites erhalten, die Ihnen die Suche nach potenziellen Mitarbeitern erleichtern werden. Wenn Sie zum Beispiel die unten stehende Regel verwenden, können Sie Jobtitel, Firmennamen, Standorte und Gehälter erhalten.

{
	"title": "a.jcs-JobTitle.css-jspxzf.eu4oa1w0", 
	"companyName":"div.heading6.company_location.tapItem-gutter.companyInfo > span.companyName",
	"companyLocation":"div.heading6.company_location.tapItem-gutter.companyInfo > div.companyLocation",
	"salary":"div.metadata.salary-snippet-container > div.attribute_snippet"
}

Stellen Sie Anfragen über Bevollmächtigte und rotieren Sie diese nach Bedarf

Wenn Sie sich bei der Erstellung Ihres Scrapers darum kümmern müssen, wie Sie einen Pool von IP-Proxys sammeln und deren Änderung konfigurieren können, reicht es, wenn Sie die API verwenden, um die entsprechende Funktion zu aktivieren:

Es gibt zwei Arten von Proxys: residente Proxys und Rechenzentren. Ihr Hauptunterschied ist, dass Wohnsitzvollmachten werden von Providern bereitgestellt, Rechenzentren hingegen nicht. Es ist erwähnenswert, dass Proxys für Rechenzentren sehr gefragt sind.

Im Allgemeinen können Sie mit Proxys erreichen, dass die Website nicht Ihren Computer, sondern einen anderen aus dem angegebenen Land sieht.

Ein weiteres Problem, das angesprochen wurde, sind Captchas. Um sie zu vermeiden, werden Headless-Browser verwendet, und es werden spezielle Dienste eingesetzt, um sie zu lösen. Dieses Problem kann jedoch auch vergessen werden, wenn die API verwendet wird.

Fazit und Schlussfolgerungen

Web Scraping für Personalvermittler ist das ultimative Werkzeug, um schnell und effizient die besten Mitarbeiter zu finden. Es hilft Ihnen bei allem, von der Suche nach qualifizierten Bewerbern in Minutenschnelle bis hin zum Filtern der in die engere Wahl gekommenen Kandidaten auf den für Sie perfekten Bewerber. Natürlich sparen Sie Zeit, wenn Sie eine fertige Basis kaufen, aber der Aufbau einer API-basierten Infrastruktur ist eine einfache, flexible und funktionsreiche Lösung für die Erfassung von HR-Daten mit Web Scraping.

Außerdem genügt es, alles einmal einzurichten und zu erledigen, und schon können Sie ähnliche Daten automatisch erhalten. Um sich davon zu überzeugen, genügt es, es einmal auszuprobieren, und das kostenlos.