Beranda BlogPengikisan web Cara mengikis Google Trends dengan Python

Cara mengikis Google Trends dengan Python

oleh Kadek

Google Trends adalah alat yang sangat berharga untuk mendapatkan wawasan tentang kueri penelusuran. Hal ini memungkinkan pengguna untuk tetap terdepan dalam tren, mengidentifikasi kata kunci dan topik baru, dan mendapatkan pemahaman lebih dalam tentang minat audiens mereka saat ini.

Namun, untuk menggunakan Google Trends secara efektif, sering kali diperlukan pemrosesan kata kunci dan kueri dalam jumlah besar dalam waktu singkat. Tugas ini terbukti sulit jika dilakukan secara manual. Untuk mengatasi masalah ini, kita akan melihat berbagai metode otomatisasi pengikisan data yang disesuaikan untuk pengguna dengan tingkat keahlian berbeda.

Karena tingkat keahlian berbeda-beda, kami menghadirkan beragam opsi - mulai dari opsi yang tidak memerlukan pengetahuan pengkodean hingga opsi yang memerlukan pengetahuan pemrograman dan skrip yang kuat.

Google Trends menawarkan kekayaan data dengan beragam aplikasi di berbagai bidang. Sebelum kita mendalami metode pengumpulan data otomatis, mari kita jelajahi potensi penggunaan dan penerapan data Google Trends.

Riset pasar

Salah satu cara paling umum dan efektif untuk menggunakan data Google Trends adalah untuk riset pasar. Google Trends memberikan wawasan berharga tentang volume kueri penelusuran di berbagai wilayah dan periode waktu.

Menganalisis tren penelusuran dari waktu ke waktu dapat memberikan informasi berharga tentang fluktuasi minat terhadap suatu produk atau layanan. Informasi ini dapat digunakan untuk merencanakan kampanye pemasaran secara strategis pada saat-saat puncak minat. Selain itu, Google Trends memungkinkan analisis komparatif popularitas merek, memungkinkan perusahaan mengidentifikasi pemimpin industri dan area pertumbuhan potensial.

Data penelusuran regional juga dapat digunakan untuk memahami variasi permintaan secara geografis. Hal ini dapat dipengaruhi oleh faktor-faktor di luar kesadaran produk dan musim, seperti preferensi regional dan tren budaya. Dengan memahami fluktuasi ini, perusahaan dapat mengoptimalkan strategi pemasaran mereka untuk menargetkan wilayah tertentu secara efektif.

SEO dan strategi konten

Mengikis data Google Trends dapat menjadi tambahan yang berharga untuk strategi SEO Anda. Berikut beberapa cara yang dapat Anda gunakan untuk meningkatkan peringkat pencarian situs web Anda dan lalu lintas organik:

  • Identifikasi kata kunci yang sedang tren. Dengan menganalisis data Google Trends, Anda dapat menemukan kata kunci yang semakin populer di niche Anda. Memasukkan kata kunci ini ke dalam konten Anda dapat membantu mengarahkan lalu lintas yang lebih relevan ke situs web Anda.
  • Optimalkan waktu konten. Google Trends dapat muncul ketika minat terhadap topik tertentu sangat tinggi. Gunakan informasi ini untuk menjadwalkan publikasi postingan blog, artikel, dan konten lainnya agar bertepatan dengan puncak pencarian ini.
  • Teliti pesaing. Lakukan analisis kompetitif menggunakan Google Trends untuk mengidentifikasi kesenjangan dalam strategi konten Anda. Cari tahu kata kunci dan topik mana yang diperingkat oleh pesaing Anda, tetapi Anda tidak, dan buat konten yang menargetkan area tersebut.

Jadi, dengan bantuan data Google Trends, Anda dapat mengarahkan lebih banyak lalu lintas organik ke situs web Anda.

Kasus penggunaan lainnya

Kemungkinan penerapan data Google Trends yang diambil dari Internet sebenarnya tidak terbatas. Apa pun industri Anda, Anda dapat menemukan penerapan yang paling tepat untuk data yang Anda kumpulkan, mulai dari riset keuangan dan analisis sentimen hingga melacak persaingan dan memprediksi tren masa depan berdasarkan data yang Anda kumpulkan.

Apa pun kasusnya, data Google Trends menawarkan berbagai kemungkinan analitis serta peluang untuk menemukan ide dan solusi di berbagai bidang, menjadikannya alat yang berharga untuk bisnis, penelitian, dan perencanaan. Dan dengan mengikis data ini, Anda secara otomatis mendapatkan data terkini.

Memilih metode pengikisan web

Karena scraping data Google Trends sangat diminati oleh orang-orang dengan keahlian pemrograman berbeda, kami akan mengeksplorasi berbagai opsi, dimulai dengan opsi yang tidak memerlukan keahlian pemrograman sama sekali dan diakhiri dengan metode yang lebih kompleks dalam membuat scraper Anda.

Seperti disebutkan sebelumnya, Anda dapat dengan mudah mengakses data Google Trends bahkan tanpa pengetahuan pemrograman apa pun. Anda dapat melakukan ini dengan menggunakan layanan yang menyediakan kemampuan pengumpulan data otomatis dan menyediakan kumpulan data siap pakai dalam format yang memenuhi kebutuhan Anda.

Metode ini mudah dan nyaman, namun juga menawarkan sedikit fleksibilitas. Anda tidak dapat mengkustomisasi scraper atau mengubah format data. Karena layanan ini menawarkan solusi yang lengkap dan terpaket, Anda dibatasi pada fitur yang mereka tawarkan.

Oleh karena itu, pendekatan ini disarankan jika Anda membutuhkan data dengan cepat, tidak memerlukan pengumpulan data berkelanjutan, dan puas dengan opsi filter dan format data dari pengikis tanpa kode Google Trends yang dipilih.

Opsi 2: Menggunakan Web Scraping API

Selain scraper tanpa kode dan pustaka web scraping, cara lain untuk mengakses data Google Trends adalah dengan menggunakan API Google Trends. Meskipun Google Trends tidak menawarkan API resmi, ada beberapa API pihak ketiga yang tersedia yang dapat memberi Anda data Google Trends.

Mari kita lihat manfaat menggunakan Google Trends API:

  1. Menyederhanakan proses pengikisan data. API menyediakan cara terstruktur dan terorganisir untuk mengakses data Google Trends, sehingga menghilangkan kebutuhan akan teknik web scraping yang rumit.
  2. Meningkatkan fleksibilitas. API menawarkan lebih banyak fleksibilitas dibandingkan dengan scraper tanpa kode, sehingga memungkinkan Anda menyesuaikan kebutuhan data dan mengambil titik data tertentu.
  3. Mengurangi waktu pengembangan. Dengan menggunakan API, Anda dapat menghemat waktu dan tenaga yang seharusnya Anda habiskan untuk mengembangkan dan memelihara solusi web scraping Anda.
  4. Mengurangi tantangan pengikisan yang umum. API menangani tugas-tugas seperti manajemen proxy dan resolusi captcha yang dapat memakan waktu dan sulit ketika melakukan scraping web secara manual.

Secara keseluruhan, penggunaan API Google Trends adalah pendekatan yang efisien dan efektif bagi pengembang yang ingin menyederhanakan proses pengumpulan dan analisis data Google Trends.

Opsi 3: Menggunakan perpustakaan web scraping

Metode tersulit berikutnya adalah menggunakan perpustakaan khusus untuk mengikis data Google Trends. Yang paling populer adalah pyTrends. Namun sebelum menggunakannya, Anda perlu mengetahui kelebihan dan kekurangannya.

Keuntungan yang tidak diragukan lagi dari perpustakaan ini termasuk kemampuan untuk mengambil data dengan cukup mudah (dibandingkan dengan opsi terakhir), tetapi Anda harus menyelesaikan sendiri masalahnya jika terjadi pemblokiran atau captcha. Selain itu, Anda pasti memerlukan proxy untuk penggunaan normal.

Opsi ini cocok bagi mereka yang sudah cukup mahir dalam pemrograman dan siap menghadapi kesulitan, namun tidak ingin menulis scrapernya dari awal dan sedang mencari perpustakaan yang dapat membantu saat mengambil data dari Halaman Google Trends. bermanfaat.

Opsi 4: Menggunakan browser tanpa kepala

Menggunakan pustaka browser tanpa kepala untuk membuat scraper Google Trends adalah opsi yang paling rumit dari ketiga opsi tersebut. Ini mengasumsikan bahwa Anda sudah familiar dengan semua langkah yang terlibat dalam pengumpulan dan pemrosesan data yang diperlukan, yang memerlukan keterampilan pemrograman yang baik.

Jika Anda tidak terbiasa dengan perpustakaan tersebut tetapi ingin mempelajarinya lebih lanjut, lihat artikel kami tentang pengikisan browser tanpa kepala. Jika Anda yakin dengan keahlian Anda dan ingin membuat alat pengikis Google Trends Anda sendiri, artikel ini juga akan memberi Anda panduan.

Singkatnya, ini adalah pendekatan yang paling canggih, tetapi menawarkan opsi penyesuaian paling banyak dan memungkinkan Anda mengekstrak semua data yang Anda perlukan.

persyaratan

Node.js dan Python adalah dua bahasa pemrograman paling populer untuk web scraping. Namun, Python secara umum dianggap lebih mudah dipelajari dan digunakan, bahkan untuk pemula. Oleh karena itu, kami akan menggunakan Python dalam tutorial ini.

Untuk mengikuti contoh dalam tutorial ini Anda memerlukan yang berikut ini:

  • Python 3.10 atau lebih baru;
  • IDE Python atau editor kode apa pun dengan penyorotan sintaksis.

Jika Anda baru mengenal pemrograman Python, Anda dapat membaca artikel pengantar kami yang membahas proses instalasi dan pembuatan web scraper pertama Anda.

Selain Python, kita juga perlu menginstal perpustakaan berikut:

pip install requests json csv pytrends selenium

Untuk fungsionalitas penuh dengan Selenium Anda mungkin juga memerlukan file tambahan, seperti: B. driver web (hanya diperlukan untuk Selenium versi lama). Untuk informasi lebih lanjut, lihat panduan kami untuk web scraping dengan Selenium.

Seperti yang dijanjikan, kita akan mulai dengan metode pengikisan data paling sederhana yang bahkan tidak memerlukan pengetahuan pemrograman apa pun, lalu beralih ke metode yang lebih kompleks dan canggih. Oleh karena itu, mari kita mulai dengan metode paling sederhana dan menunjukkan cara mendapatkan data Google Trends menggunakan alat yang sudah jadi.

Untuk contoh ini kami menggunakan scraper tanpa kode “Google Trends” dari HasData. Untuk memulai, Anda perlu masuk ke situs web kami. Setelah mendaftar, masuk dan navigasikan ke pasar scraper tanpa kode.


Pengikis tanpa kode
Pengikis tanpa kode

Telusuri dan navigasikan ke halaman scraper Google Trends tanpa kode.


Halaman Pengikis Google Trends
Halaman Pengikis Google Trends

Mari kita uraikan item-item di halaman ini:

  1. kata kunci. Masukkan kata kunci target Anda di sini, satu kata kunci per baris.
  2. Geografis. Tentukan wilayah yang ingin Anda targetkan.
  3. Jendela waktu. Tetapkan rentang tanggal untuk hasil pencarian Anda.
  4. Jalankan pengikis. Setelah Anda mengatur semua parameter, klik tombol ini untuk memulai proses pengikisan. Kemajuan Anda akan ditampilkan di sisi kanan layar.
  5. Hasil pengikisan. Bagian ini menunjukkan kepada Anda semua hasil dari proses pengikisan tanpa kode. Anda juga dapat mengunduh data dalam format yang mudah digunakan: JSON, CSV, atau XLSX.

Seperti yang Anda lihat, menyiapkan dan menjalankan alat ini cukup mudah. Berikut adalah contoh data yang dapat Anda harapkan:


Hasil Google Trends
Hasil Google Trends

Seperti yang Anda lihat, pengikis tanpa kode Google Trends memungkinkan Anda mengakses data pencarian untuk jangka waktu apa pun yang Anda minati, bahkan tanpa pengetahuan pemrograman apa pun.

Jika Anda ingin membuat skrip Anda sendiri, alih-alih scraper tanpa kode, kami akan menggunakan Google Trends API HasData dan membuat skrip kami. Untuk melakukan ini, seperti metode sebelumnya, Anda perlu masuk ke situs web kami untuk mendapatkan kunci API. Anda dapat menemukannya di halaman utama akun Anda.


Salin kunci API Anda
Salin kunci API Anda

Selanjutnya, Anda dapat menggunakan API Playground untuk mengatur parameter dan menghasilkan kode dalam bahasa pemrograman apa pun, atau Anda dapat menggunakan dokumentasi dan menulis kodenya sendiri.

Berbeda dengan scraper tanpa kode, Google Trends API menawarkan lebih banyak parameter yang dapat Anda gunakan untuk menyesuaikan kueri Anda. API memungkinkan Anda menentukan parameter berikut:

  1. permintaan pencarian. Inti dari pencarian Anda. Ini mendefinisikan kata kunci atau frase yang ingin Anda teliti.
  2. Lokasi. Tentukan wilayah geografis untuk kueri Anda dan batasi hasilnya pada negara, wilayah, atau kota tertentu.
  3. wilayah. Gunakan fungsi “Pencarian Regional”, yang memungkinkan Anda mencari secara spesifik area seperti kota, wilayah metropolitan, negara, atau sub-wilayah.
  4. Tipe data. Pilih jenis data yang akan diambil: minat dari waktu ke waktu, minat menurut wilayah, topik terkait, atau kueri terkait.
  5. Zona waktu. Tentukan zona waktu yang relevan untuk menafsirkan pola pencarian secara akurat di berbagai wilayah.
  6. kategori. Persempit pencarian Anda dengan memilih kategori tertentu, serupa dengan fitur di situs web Google Trends.
  7. milik Google. Filter hasil berdasarkan sumber pencarian, mis. B. Pencarian Google, berita, gambar atau pencarian YouTube.
  8. Rentang tanggal. Tentukan jangka waktu pengambilan data dan pastikan Anda menangkap tren yang paling relevan.

Parameter ini memungkinkan Anda untuk menyesuaikan permintaan dengan cara yang paling sesuai untuk Anda. Seperti yang telah disebutkan, Anda dapat mengatur semua parameter yang diperlukan di taman bermain API dan cukup menyalin kode yang sudah jadi ke dalam bahasa pemrograman apa pun yang sesuai untuk Anda. Misalnya, kami membuat kode tersebut dari awal.

Anda juga dapat melihat dan menjalankan versi skrip bawaan yang dipermasalahkan di Google Collaboratory.

Pertama, buat file baru dengan ekstensi .py dan impor perpustakaan yang diperlukan. Karena sebagian besar pekerjaan dilakukan oleh API, kita hanya memerlukan perpustakaan untuk membuat permintaan dan bekerja dengan data JSON karena API mengembalikan data dalam format JSON.

import requests
import json

Selanjutnya kita mendefinisikan variabel dengan parameter yang ingin kita atur. Untuk daftar lengkap parameter, lihat dokumentasi resmi kami.

query = "Coffee"
geo = "US-NY"
region = "dma"
data_type = "geoMap"
category = "65"
date_range = "now 7-d".replace(" ", "+")

Kemudian tulis tautannya:

url = f"https://api.hasdata.com/scrape/google-trends/search?q={query}&geo={geo}&region={region}&dataType={data_type}&cat={category}&date={date_range}"

Sertakan kunci API Anda di header permintaan:

headers = {
  'Content-Type': 'application/json',
  'x-api-key': 'PUT-YOUR-API-KEY'
}

Buat permintaan dan cetak jawabannya di layar:

response = requests.request("GET", url, headers=headers)
print(response.text)

Hasilnya, Anda akan mendapatkan data seperti contoh ini:


JSON yang dihasilkan
JSON yang dihasilkan

Seperti yang Anda lihat, selain data itu sendiri, API juga mengembalikan URL permintaan dan tangkapan layar dari halaman kueri yang dieksekusi.

Informasi ini memungkinkan Anda memproses data yang diambil atau menyimpannya untuk digunakan nanti. Misalnya, mari kita simpan data ke file JSON:

data = response.json()
with open("google_trends_data.json", "w") as json_file:
    json.dump(data, json_file, indent=4)

Anda juga dapat menyimpan data ke file dalam format lain yang sesuai untuk Anda, seperti CSV.

Metode lainnya adalah dengan menggunakan perpustakaan PyTrends, yang menyederhanakan proses pengumpulan data. Ini didasarkan pada kueri sederhana dan menggunakan perpustakaan Permintaan dan BeautifulSoup untuk pengikisan, sehingga memiliki batasan tertentu.

Kikis data menggunakan PyTrends

Mari buat web scraper sederhana untuk mengekstrak data tentang minat berdasarkan wilayah. Untuk melakukan ini, buat skrip Python baru dan impor perpustakaan yang diperlukan ke dalam proyek:

from pytrends.request import TrendReq

Kemudian buat objek sesi pyTrend:

pytrend = TrendReq()

Dan buat permintaan untuk menerima TOKEN:

pytrend.build_payload(kw_list=('coffee', 'green tea'))

Anda kemudian dapat mengakses data kata kunci yang Anda inginkan. Misalnya, untuk mengambil dan menampilkan data berdasarkan wilayah, gunakan kode berikut:

interest_by_region_df = pytrend.interest_by_region()
print(interest_by_region_df.head())

Hasilnya, Anda akan menerima data berikut:


Hasil pengikisan PyTrends
Hasil pengikisan PyTrends

Sayangnya, seperti yang disebutkan sebelumnya, penggunaan perpustakaan PyTrends memiliki kekurangan dan keterbatasan. Untuk fungsionalitas penuh Anda perlu menggunakan proxy. Jika Anda memilih untuk tidak menggunakannya, skrip Anda akan gagal dengan kesalahan 429.

Kesalahan 429 untuk PyTrends

Pesan kesalahan lengkapnya adalah “pytrends.Exceptions.TooManyRequestsError: Permintaan gagal: Google mengembalikan respons dengan kode 429”. Hal ini biasanya menunjukkan bahwa Google telah menandai permintaan Anda sebagai mencurigakan dan menolak mengembalikan data. Untuk mengatasi masalah ini, Anda perlu menggunakan proxy di skrip Anda.

Kami telah membahas cara menggunakan proxy dengan Python. Namun, perlu dicatat bahwa PyTrends menawarkan fungsi khusus untuk tujuan ini. Cukup tentukan parameter yang diperlukan selama pembuatan objek:

pytrend = TrendReq(hl="en-US", tz=360, proxies=('https://128.3.21.11:8080',))

Penting untuk digarisbawahi bahwa PyTrends hanya mendukung proxy HTTPS. Anda dapat menemukan proxy gratis di halaman daftar proxy gratis kami untuk menguji fungsi ini atau membeli proxy dari penyedia terpercaya.

Cara paling rumit namun fleksibel untuk mengambil data dari Google Trends adalah dengan membuat alat Anda menggunakan pustaka seperti Selenium atau pustaka lain yang mendukung browser tanpa kepala.

Untuk memperoleh data yang diperlukan, kami membahas dua opsi di sini:

  1. Metode standar. Metode ini mengharuskan Anda menavigasi ke halaman dan menganalisis kontennya. Ini adalah metode yang lebih kompleks karena agak sulit menemukan penyeleksi yang diperlukan.
  2. Sedikit trik untuk mendapatkan data yang Anda butuhkan. Dengan cara ini Anda bisa mendapatkan semua data yang Anda butuhkan meskipun Anda tidak ingin berurusan dengan penyeleksi.

Apa pun metode yang Anda pilih, Anda akan mendapatkan semua data yang Anda perlukan dari Google Trends.

Prosedur pengikisan standar

Metode ini menggunakan browser tanpa kepala seperti Selenium untuk mensimulasikan interaksi pengguna dan mengekstrak data dari halaman web. Meskipun pendekatan ini relatif sederhana, namun dapat memakan waktu. Untuk menggunakannya, cukup ikuti algoritma ini:

  1. Kata-kata dari URL. Buat URL berdasarkan parameter yang ditentukan. Untuk melakukan ini, Anda perlu memahami struktur URL dan mengintegrasikan istilah pencarian, periode waktu, dan filter lokasi yang diinginkan.
  2. Navigasi ke halaman. Gunakan browser tanpa kepala seperti Selenium untuk mensimulasikan kunjungan pengguna ke URL yang dibuat. Hal ini memungkinkan interaksi dengan situs web dinamis tanpa browser fisik.
  3. Mengikis data. Gunakan teknik web scraping untuk mengekstrak data yang relevan dari konten HTML halaman. Ini mungkin termasuk mengidentifikasi dan menguraikan elemen tertentu menggunakan pemilih XPath atau CSS.
  4. Pemrosesan dan penyimpanan data. Bersihkan, atur, dan format data yang diekstraksi ke dalam format terstruktur seperti CSV atau JSON. Simpan data yang telah diproses untuk analisis atau visualisasi lebih lanjut.

Sekarang mari kita implementasi algoritma yang telah dibahas. Pertama, kita perlu mengidentifikasi pola yang menentukan pembentukan URL. Untuk melakukan ini, kami mengunjungi halaman Google Trends dan memeriksa semua filter yang tersedia. Kami kemudian menganalisis bagaimana URL berubah berdasarkan parameter yang dipilih.


Riset di halaman Google Trends
Riset di halaman Google Trends

Misalnya, dengan menggunakan parameter yang dibahas (Negara - AS, Kategori - Makanan dan Minuman, Waktu - 7 Hari Terakhir, Kata Kunci - Kopi), tautan berikut akan relevan:

https://trends.google.com/trends/explore?cat=71&date=now%207-d&geo=US&q=coffe

Mari kita mulai dengan membuat skrip dan mengimpor perpustakaan dan modul yang diperlukan:

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.options import Options
import time

Selanjutnya, kami mengonfigurasi pengaturan dan membuat tautan:

category = "71"
date_range = "now 7-d"
geo = "US"
query = "coffee"

url = f"https://trends.google.com/trends/explore?cat={category}&date={date_range}&geo={geo}&q={query}"

Kemudian buat objek WebDriver:

chrome_options = Options()

driver = webdriver.Chrome(options=chrome_options)

Sekarang Anda dapat melanjutkan halaman tersebut. Namun, ada sedikit nuansa di sini. Jika Anda mengikuti tautan langsung ke halaman parameter yang diperlukan, Anda akan menerima pesan kesalahan berikut:


429 kesalahan
429 kesalahan

Kesalahan ini dapat dengan mudah dihindari dengan mengakses halaman dari halaman utama Google Trends atau mengikuti link dua kali:

driver.get(url)
driver.get(url)

Mari kita lihat lebih dekat halaman tersebut dan gunakan salah satu blok untuk mengilustrasikan proses pengumpulan data. Sebagai contoh, kami mengumpulkan data tentang “Kueri Serupa”. Mari kita lihat lebih dekat bagian ini:


Kueri terkait
Kueri terkait

Jika Anda memeriksa HTML halaman menggunakan DevTools (tekan F12 atau klik kanan dan pilih Inspect), akan terlihat jelas bahwa bagian Pencarian Terkait ada dalam elemen div dengan kelas ".fe-related-queries” disertakan. Setiap item pencarian terkait di bagian ini memiliki kelas .item.

Mari kita lanjutkan mengumpulkan data ini:

related_queries_div = driver.find_element(By.CSS_SELECTOR, '.fe-related-queries')
items = related_queries_div.find_elements(By.CSS_SELECTOR, '.item')

Untuk meningkatkan organisasi data, kami menggunakan format daftar:

related_queries = ()
for item in items:
    parts = item.text.split('\n')
    if len(parts) == 4:
        rank, title_category, score, more = parts
        title, category = title_category.split(' - ')
        related_queries.append({
            'rank': rank,
            'title': title,
            'category': category,
            'score': score
        })

Cetak data Google Trends ke layar dan tutup driver web:

print(related_queries)
driver.quit()

Hasilnya, Anda akan menerima data berikut:


Daftar yang dihasilkan
Daftar yang dihasilkan

Anda juga dapat menggunakan Selenium untuk penomoran halaman guna mengumpulkan data selengkap mungkin. Selain itu, data dari blok lain dapat diekstraksi dengan cara yang sama karena hanya penyeleksinya saja yang berbeda.

Sebuah trik untuk mendapatkan data dengan cepat dan mudah

Seperti yang kami sebutkan di awal, ada cara yang lebih mudah untuk mendapatkan data Google Trends, yaitu dengan mengunduhnya. Ada tombol unduh di samping setiap blok yang dapat Anda gunakan untuk mengunduh data:


Tombol unduh
Tombol unduh

Daripada mengumpulkan data ini secara manual, kita cukup mendownload semuanya sekaligus. Struktur skrip tetap sama kecuali bagian navigasi halaman:

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.options import Options

category = "71"
date_range = "now 7-d"
geo = "US"
query = "coffee"

url = f"https://trends.google.com/trends/explore?cat={category}&date={date_range}&geo={geo}&q={query}"

chrome_options = Options()

driver = webdriver.Chrome(options=chrome_options)
driver.get(url)
driver.get(url)

Kemudian unduh data Google Trends yang tersedia:

export_buttons = driver.find_elements(By.CSS_SELECTOR, '.widget-actions-item.export')
for button in export_buttons:
    button.click()
    time.sleep(1) 

Hasilnya, kami mendapatkan empat file dengan semua data di halaman:


File yang dihasilkan
File yang dihasilkan

Prosedur ini memungkinkan Anda menerima semua data dengan cepat dan mudah. Selain itu, datanya terstruktur dengan baik dan dapat digunakan untuk diproses lebih lanjut.

Diploma

Artikel ini mengeksplorasi penerapan praktis data Google Trends di berbagai industri dan kasus penggunaan. Kami menjelajahi metode mulai dari solusi sederhana tanpa kode hingga teknik pengikisan web tingkat lanjut menggunakan API dan pustaka.

Selain itu, kami telah menyediakan algoritme dan contoh untuk membuat scraper sehingga Anda dapat mengumpulkan data sendiri di masa mendatang. Terakhir, kami mengungkapkan trik bagus yang memungkinkan Anda mengumpulkan semua data yang diperlukan dengan relatif mudah dan tanpa banyak usaha.

Dalam panduan ini, kami telah mencoba mencakup semua kemungkinan metode scraping Google Trends dan menyoroti pro dan kontra dari setiap pendekatan. Selain itu, dengan menyertakan opsi non-coding, kami memastikan bahwa setiap orang, terlepas dari keahlian teknisnya, dapat menemukan metode yang sesuai.

Pos terkait

Tinggalkan Komentar