Web Scraping Hasil Pencarian Google dengan Python

        if anchors:
            link = anchors(0)('href')
            title = g.find('h3').text
            try:
                description = g.find('div', {'data-sncf':'2'}).text
            except Exception as e:
                description = "-"

Masukkan data tentang elemen ke dalam variabel hasil:

            results.append(str(title)+";"+str(link)+';'+str(description))

Sekarang kita bisa menampilkan variabel di layar, tapi mari kita memperumitnya dan menyimpan data ke file. Untuk melakukan ini, buat atau timpa file dengan kolom “Judul”, “Tautan”, “Deskripsi”:

with open("serp.csv", "w") as f:
    f.write("Title; Link; Description\n")

Dan mari masukkan data dari variabel hasil baris demi baris:

for result in results:
    with open("serp.csv", "a", encoding="utf-8") as f:
        f.write(str(result)+"\n")

Saat ini kami memiliki scraper mesin pencari sederhana yang mengumpulkan hasil dalam file CSV.

Kode lengkap:

import requests
from bs4 import BeautifulSoup

url="https://www.google.com/search?q=cafe+in+new+york"
header={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36'}
data = requests.get(url, headers=header)

if data.status_code == 200:
    soup = BeautifulSoup(data.content, "html.parser")
    results = ()
    for g in soup.find_all('div',  {'class':'g'}):
        anchors = g.find_all('a')
        if anchors:
            link = anchors(0)('href')
            title = g.find('h3').text
            try:
                description = g.find('div', {'data-sncf':'2'}).text
            except Exception as e:
                description = "-"
            results.append(str(title)+";"+str(link)+';'+str(description))

with open("serp.csv", "w") as f:
    f.write("Title; Link; Description\n")

for result in results:
    with open("serp.csv", "a", encoding="utf-8") as f:
        f.write(str(result)+"\n")

Sayangnya skrip ini memiliki beberapa kelemahan:

1. Hanya sejumlah kecil data yang dikumpulkan.
2. Tidak ada data dinamis yang dikumpulkan.
3. Tidak ada proxy yang digunakan.
4. Tidak ada tindakan yang diambil pada halaman tersebut.
5. Itu tidak menyelesaikan captcha.

Mari kita menulis skrip baru berdasarkan perpustakaan Selenium untuk menyelesaikan beberapa masalah ini.

Gunakan Headless Browser untuk mengambil data dari hasil pencarian

Peramban tanpa kepala dapat bermanfaat saat bekerja dengan situs web yang menggunakan konten dinamis, memerlukan tantangan CAPTCHA, atau memerlukan rendering JavaScript. Selenium, alat otomatisasi web yang kuat, memungkinkan kita berinteraksi dan mengekstrak data dari halaman web melalui browser tanpa kepala.

Buat file baru dan sambungkan perpustakaan:

from selenium import webdriver
from selenium.webdriver.common.by import By

Sekarang mari kita tunjukkan di mana letak driver web yang diunduh sebelumnya:

DRIVER_PATH = 'C:\chromedriver.exe'
driver = webdriver.Chrome(executable_path=DRIVER_PATH)

Pada skrip sebelumnya, kami menentukan kueri dengan tautan. Namun kami melihat bahwa semua kueri tampak sama. Jadi mari kita tingkatkan ini dan memungkinkan pembuatan tautan berdasarkan kueri teks:

search_query = "cafe in new york"
base_url = "https://www.google.com/search?q="
search_url = base_url + search_query.replace(" ", "+")

Sekarang kita bisa pergi ke halaman yang kita butuhkan:

driver.get(search_url)

Mari kita ekstrak datanya menggunakan pemilih CSS dari skrip sebelumnya:

results = ()
result_divs = driver.find_elements(By.CSS_SELECTOR, "div.g")
for result_div in result_divs:
    result = {}
    anchor = result_div.find_elements(By.CSS_SELECTOR, "a")
    link = anchor(0).get_attribute("href")
    title = result_div.find_element(By.CSS_SELECTOR, "h3").text
    description_element = result_div.find_element(By.XPATH, "//div(@data-sncf="2")")
    description = description_element.text if description_element else "-"
    results.append(str(title)+";"+str(link)+';'+str(description))

Tutup peramban:

driver.quit()

Dan kemudian simpan data ke file:

with open("serp.csv", "w") as f:
    f.write("Title; Link; Description\n")
for result in results:
    with open("serp.csv", "a", encoding="utf-8") as f:
        f.write(str(result)+"\n")

Dengan Selenium kami telah memecahkan beberapa masalah yang terkait dengan pengikisan. Misalnya, kami telah mengurangi risiko pemblokiran secara signifikan karena browser tanpa kepala sepenuhnya mensimulasikan pekerjaan pengguna sebenarnya, sehingga skrip tidak dapat dibedakan dari seseorang.

Pendekatan ini juga memungkinkan kita bekerja dengan berbagai elemen pada halaman dan menghapus halaman dinamis.

Namun kami masih belum bisa mengontrol lokasi kami, kami tidak bisa menyelesaikan captcha jika itu terjadi, dan kami tidak menggunakan proxy. Mari beralih ke perpustakaan berikut untuk menyelesaikan masalah ini.

Pengikisan web dengan Google Search API

Untuk bekerja dengan perpustakaan kami, Anda memerlukan kunci API, yang dapat Anda temukan di akun Anda. Jadi, untuk membuat scraper SERP Google yang kaya fitur, kami menggunakan perpustakaan kami:

from google_serp_api import ScrapeitCloudClient

Mari kita sambungkan juga pustaka JSON bawaan untuk memproses respons, yang dalam format JSON:

import json

Mari tentukan kunci API dan atur parameternya:

    client = ScrapeitCloudClient(api_key='YOUR-API-KEY')
    response = client.scrape(
        params={
            "q": search_key,
            "location": "Austin, Texas, United States",
            "domain": "google.com",
            "deviceType": "desktop",
            "num": 100
        }
    )

Anda dapat mengatur kata pencarian, negara tempat Anda ingin mengambil data, jumlah hasil yang akan dipindai, dan domain Google. Menjalankan kode ini akan mengembalikan respons berformat JSON dengan data dalam tampilan berikut:

- requestMetadata (request metadata)
  - id (request ID)
  - googleUrl (Google search URL)
  - googleHtmlFile (URL of the Google HTML file)
  - status (request status)
- organicResults (organic results)
  - position (result position)
  - title (result title)
  - link (result link)
  - displayedLink (displayed result link)
  - source (result source)
  - snippet (result snippet)
  - snippetHighlitedWords (highlighted words in the result snippet)
  - sitelinks (site links embedded in the result)
- localResults (local results)
  - places (places)
    - position (place position)
    - title (place title)
    - rating (place rating)
    - reviews (number of reviews for the place)
    - reviewsOriginal (original format of the number of reviews for the place)
    - price (place price)
    - address (place address)
    - hours (place hours of operation)
    - serviceOptions (service options)
    - placeId (place ID)
    - description (place description)
  - moreLocationsLink (link to more locations)
- relatedSearches (related searches)
  - query (related query)
  - link (link to related search results)
- relatedQuestions (related questions)
  - question (related question)
  - snippet (snippet of the answer to the related question)
  - link (link to related question results)
  - title (title of the related question result)
  - displayedLink (displayed link of the related question result)
- pagination (pagination)
  - next (link to the next page of results)
- knowledgeGraph (knowledge graph)
  - title (title)
  - type (type)
  - description (description)
  - source (source)
    - link (source link)
    - name (source name)
  - peopleAlsoSearchFor (people also search for)
    - name (name)
    - link (link to related search results)
- searchInformation (search information)
  - totalResults (total number of results)
  - timeTaken (time taken for the request)

Mari simpan data hasil organik dan penelusuran terkait dalam file terpisah. Pertama, format respon yang diterima dari string ke dalam JSON dan masukkan data dari atribut yang diinginkan ke dalam variabel.

data = json.loads(response.text)
organic_results = data('organicResults')
keywords = data('relatedSearches')

Buat variabel dengan hasil yang diinginkan.

rows_organic = ()
rows_keys =()

Telusuri semua trek elemen demi elemen dan masukkan ke dalam variabel dalam bentuk yang benar:

for result in organic_results:
    rows_organic.append(str(result('position'))+";"+str(result('title'))+";"+str(result('link'))+";"+str(result('source'))+";"+str(result('snippet')))
for result in keywords:
    rows_keys.append(str(result('query'))+";"+str(result('link')))

Mari simpan data dalam file:

with open("data_organic.csv", "w") as f:
    f.write("position; title; url; domain; snippet'\n")

for row in rows_organic:
    with open("data_organic.csv", "a", encoding="utf-8") as f:
        f.write(str(row)+"\n")

with open("data_keys.csv", "w") as f:
    f.write("keyword; path'\n")

for row in rows_keys:
    with open("data_keys.csv", "a", encoding="utf-8") as f:
        f.write(str(row)+"\n")

Sebagai hasil dari menjalankan skrip, kami menerima dua file:

Kita dapat mengubah jumlah hasil dengan mengubah parameter num_results menjadi “params”. Namun, katakanlah kita memiliki file yang menyimpan semua kata kunci yang kita perlukan untuk mengikis data. Kita perlu membuka file tersebut terlebih dahulu dan kemudian menelusurinya baris demi baris dengan kata kunci baru:

with open("keywords.csv") as f:
    lines = f.readlines()

with open("data_keys.csv", "w") as f:
    f.write("search_key; keyword; path'\n")

with open("data_organic.csv", "w") as f:
    f.write("search_key; position; title; url; domain; snippet'\n")

for line in lines:

Kami menentukan judul kolom untuk file baru sebelum memasukkan kata kunci. Artinya file tersebut tidak akan tertimpa saat Anda mencari kata kunci baru. Sebaliknya, file tersebut dilengkapi dengan data tambahan. Kami juga menambahkan kolom lain yang berisi permintaan pencarian teks yang hasilnya cocok.

Sekarang kita ubah jawabannya dan tentukan kata kunci yang harus sama dengan variabel baris:

    response = client.scrape(
        params={
            "q": search_key,
            "location": "Austin, Texas, United States",
            "domain": "google.com",
            "deviceType": "desktop",
            "num": 100
        }
    )

Kode lainnya akan serupa. Yang ditambahkan hanyalah kolom baru dengan variabel baris. Hasilnya kami mendapatkan dua file berikut:

Kode Python lengkap:

from google_serp_api import ScrapeitCloudClient
import json
with open("keywords.csv") as f:
    lines = f.readlines()

with open("data_keys.csv", "w") as f:
    f.write("search_key; keyword; path'\n")

with open("data_organic.csv", "w") as f:
    f.write("search_key; position; title; url; domain; snippet'\n")

for line in lines:
    search_key = str(line.replace("\n", ""))
    client = ScrapeitCloudClient(api_key='YOUR-API-KEY')
    response = client.scrape(
        params={
            "q": search_key,
            "location": "Austin, Texas, United States",
            "domain": "google.com",
            "deviceType": "desktop",
            "num": 100
        }
    )
    data = json.loads(response.text)
    organic_results = data.get('organicResults', ())
    keywords = data.get('relatedSearches', ())
    rows_organic = ()
    rows_keys = ()

    for result in organic_results:
        rows_organic.append(f"{search_key};{result.get('position', '')};{result.get('title', '')};{result.get('link', '')};{result.get('source', '')};{result.get('snippet', '')}")
    
    for result in keywords:
        rows_keys.append(f"{search_key};{result.get('query', '')};{result.get('link', '')}")

    for row in rows_organic:
        with open("data_organic.csv", "a", encoding="utf-8") as f:
            f.write(row + "\n")

    for row in rows_keys:
        with open("data_keys.csv", "a", encoding="utf-8") as f:
            f.write(row + "\n")

Keuntungan utama menggunakan perpustakaan Scrape-It.Cloud adalah Anda tidak perlu khawatir tentang rotasi proxy, rendering JavaScript, atau penyelesaian captcha - API menyediakan data yang telah disiapkan.

Mengikis Pencarian Google dengan Python: Tantangan dan Keterbatasan

Mengikis hasil pencarian Google dengan Python bisa jadi sulit. Ada beberapa tantangan yang harus diatasi saat melakukan scraping pada hasil penelusuran Google, mulai dari kerumitan teknis yang terkait dengan algoritma mesin pencari yang selalu berubah hingga perlindungan anti-scraping yang ada di dalamnya. Ada juga kemungkinan pemblokiran alamat IP dan entri captcha, serta banyak tantangan lainnya yang akan kita bahas di bawah.

Batasan geolokasi