8 Web Scraping API Terbaik di tahun 2024 (Pro, Kontra, Harga)

Apakah Anda memulai proyek web scraping dan mencari API web scraping terbaik yang tersedia di pasaran saat ini? Saya telah mengumpulkan yang terbaik berdasarkan pengalaman pribadi untuk menyelamatkan Anda dari stres dalam mencari dan membandingkan fitur-fitur utama.

Dalam artikel ini, saya membandingkan delapan pemain top di pasar API web scraping dan menyoroti pro dan kontra, fitur unggulan, dan model harga mereka. Setelah membaca, Anda dapat memilih kandidat terbaik untuk proyek Anda.

1. API Pengikisan Web Terbaik – ScraperAPI

ScraperAPI tetap menjadi pilihan pertama pada tahun 2024. Ini menawarkan perpaduan ideal antara harga kompetitif, fitur komprehensif, dan desain ramah pengguna, menjadikannya sempurna untuk ekstraksi data volume besar dan tugas scraping sesekali atau asinkron.

Memulai ScraperAPI juga sangat mudah. Yang dibutuhkan pengguna hanyalah kunci API dan URL untuk mulai melakukan scraping.

Untuk siapa ini?

ScraperAPI sangat ideal untuk pengembang, ilmuwan data, dan perusahaan yang mencari solusi yang kuat dan terukur Pengikisan web membutuhkan. Integrasinya yang mudah juga menjadikannya pilihan optimal bagi pengembang dan bisnis yang hanya ingin menyambungkan dan mendapatkan data tanpa harus berurusan dengan banyak kode spaghetti.

Mengapa Anda harus menggunakannya?

ScraperAPI berfokus pada penyediaan pengalaman pengikisan otomatis yang kuat dengan overhead minimal. Ia menawarkan fitur seperti proxy premium yang berputar otomatis, bypass pemblokir bot, dan manajemen CAPTCHA dengan tingkat keberhasilan yang mengesankan hampir 100 %.

API ScraperAPI dirancang untuk menangani tugas ekstraksi data skala besar secara efisien. Ini memberi pengguna akses cepat dan andal ke data web. Dengan petunjuk rendering JavaScript tingkat lanjut, kini Anda dapat menggunakannya sebagai browser tanpa kepala untuk berinteraksi dengan halaman web dan memindai situs web dinamis.

Fitur Utama

• Sistem rotasi proxy yang cerdas dengan lebih dari 150 juta IP di jaringan pribadi, pusat data, dan seluler
• Tingkat keberhasilan terdepan di industri dengan manajemen CAPTCHA bawaan
• Render dinamis
• Proksi ultra-premium
• Penargetan geografis yang tepat untuk lebih dari 150 negara
• Penyediaan data webhook
• Titik akhir data terstruktur untuk situs besar
• Otomatisasi dengan DataPipeline
• Dukungan teknis 24/7 dan dokumentasi komprehensif

pro dan kontra

Periksa ulasan agregator

• Peringkat Trustpilot – 4.7
• Peringkat Capterra – 4.8

“Layanan dan keandalan yang luar biasa

Saya telah menggunakan ScraperAPI selama beberapa bulan dan ini telah sepenuhnya mengubah kebutuhan pengikisan data saya. API ini sangat andal dan menangani permintaan dalam jumlah besar tanpa masalah apa pun. Kecepatan dan keakuratannya adalah yang terbaik dan telah meningkatkan alur kerja saya secara signifikan. Sangat direkomendasikan!”

– – Ulasan Capterra

Harga

Model penetapan harga ScraperAPI mudah dipahami dan terjangkau karena Anda dikenai biaya per permintaan yang berhasil, bukan per GB atau bandwidth seperti alat pengikis web lainnya.

Misalnya, ScraperAPI mengenakan biaya 5 kredit API per permintaan yang berhasil ke domain eCommerce seperti Amazon dan Walmart, sehingga Anda dapat dengan mudah menghitung jumlah halaman yang dapat Anda cari dengan paket Anda.

catatan: Kunjungi halaman Kredit dan Permintaan ScraperAPI untuk melihat penggunaan kredit secara detail.

Berikut rincian model penetapan harga ScraperAPI:

ScraperAPI menawarkan uji coba gratis khusus 5.000 API Kredit (terbatas hingga 7 hari) dan beralih ke paket gratis standarnya 1.000API cdirevisi setelahnya. Uji coba yang murah hati ini memungkinkan Anda menguji layanan secara menyeluruh sebelum menggunakan paket berbayar.

API pengikisan web lainnya

Sekarang mari kita lihat pilihan API web scraping teratas lainnya yang tersedia pada tahun 2024. Opsi ini menawarkan fitur berbeda untuk kebutuhan berbeda. Berikut adalah tujuh alternatif penting untuk proyek ekstraksi data Anda.

2. Data cerah

Bright Data adalah platform khusus dalam pengumpulan data web dan layanan proksi yang menawarkan berbagai solusi pengikisan web seperti API pengikis web, pemblokir web, browser pengikis, kumpulan data, dan proksi. Jaringan proxy mereka mencakup pusat data, ISP, proxy perumahan dan seluler dan ditujukan untuk pengguna bisnis dan individu.

Dari semua penyedia scraping yang disebutkan dalam artikel ini, Bright Data paling ditujukan langsung untuk pelanggan dengan kebutuhan scraping yang signifikan dan perusahaan besar. Hal ini terlihat dalam paket bulanan, yang dimulai dari $499 dan menawarkan beberapa opsi perantara, meskipun opsi bayar sesuai pemakaian juga tersedia.

Untuk siapa ini?

Bright Data dirancang untuk perusahaan dan organisasi besar yang membutuhkan kumpulan data siap pakai atau konfigurasi web scraping yang kompleks, namun dengan harga yang mahal.

Mengapa Anda harus menggunakannya?

Anda harus menggunakan Bright Data jika Anda memerlukan platform yang sangat dapat disesuaikan dan skalabel dengan jaringan proxy yang besar. Namun, ini memiliki label harga yang mahal, yang berarti Bright Data mungkin berlebihan jika Anda hanya mengerjakan tugas-tugas ringan.

Fitur Utama

• Jaringan proxy yang besar (lebih dari 72 juta IP pribadi, seluler, dan pusat data)
• IDE pengikisan web untuk pengembangan pengikis khusus
• Templat pengikisan web siap pakai
• dukungan 24/7
• Pasar Kumpulan Data
• Ekstensi peramban
• Penargetan geografis tingkat lanjut

pro dan kontra

Harga

BrightData memenuhi sebagian besar kebutuhan, tetapi harganya cukup tinggi. Sekarang, meskipun ada opsi berlangganan yang lebih murah, kami memilih harga berlangganan yang paling sesuai dengan keseimbangan layanan lain dalam panduan ini, itulah sebabnya layanan tersebut ditawarkan dengan harga lebih tinggi.

Bright Data menawarkan beberapa paket berlangganan untuk API-nya:

• pertumbuhan: 499 $ per bulan.
• Bisnis: 999 $ per bulan.
• premi: 1999 $ per bulan

Mereka juga menawarkan model bayar sesuai pemakaian, memastikan pelanggan hanya membayar sesuai durasi dan sumber daya yang mereka gunakan.

Catatan: Dapatkan lebih banyak dengan harga lebih murah. Temukan bagaimana ScraperAPI dibandingkan dengan BrightData.

3. Laboratorium Oksila

Oxylabs adalah pemimpin global dalam solusi pengikisan data dan proxy berkualitas tinggi untuk ekstraksi data web skala besar. Layanan ini juga menawarkan solusi canggih lainnya, seperti serangkaian API scraping yang solid yang dapat digunakan untuk scrape e-commerce, perjalanan, hiburan, dan situs web lainnya, serta solusi pembuka blokir web yang ramah pengembang.

Oxylabs juga menawarkan contoh kode siap pakai dan dukungan untuk berbagai bahasa, lebih dari 100 juta proxy perumahan, pemblokir web bertenaga AI, manajer proxy, proxy seluler, dan banyak lagi.

Untuk siapa ini?

Oxylabs dirancang untuk pelanggan bisnis dan perusahaan yang memerlukan web scraping ekstensif dan menghargai layanan proxy berkualitas tinggi.

Mengapa Anda harus menggunakannya?

Gunakan Oxylabs saat Anda membutuhkan solusi perusahaan dengan fitur-fitur canggih.

Fitur Utama

• Jaringan proksi yang luas
• Perencana terintegrasi
• Fitur anti-lock tingkat lanjut
• Pemrosesan konten dinamis
• Alat khusus untuk SERP, eCommerce, dan lainnya.
• Catatan e-niaga

pro dan kontra

Harga

SERP Scraper API, E-Commerce Scraper API, dan Web Scraper API Anda semuanya memiliki skema harga yang sama:

Biasa

• Uji coba gratis: Uji coba gratis 7 hari – terbatas pada 5000 hasil – tidak memerlukan kartu kredit
• Mikro: 49 $ + PPN, ditagih setiap bulan (2,80 $/1.000 hasil)
• starter: 99 $ + PPN, ditagih setiap bulan (2,60 $/1.000 hasil)
• Progresif: 249 $ + PPN, ditagih setiap bulan (2,40 $/1.000 hasil)

Mengejar

• Berani: 499 $ + PPN, ditagih setiap bulan (2,20 $/1.000 hasil)
• Bisnis: 999 $ + PPN, ditagih setiap bulan (1,90 $/1.000 hasil)
• Mengejar: 2.000 $ + PPN, ditagih setiap bulan (1,60 $/1.000 hasil)
• kebiasaan + : 10.000 $ + tagihan bulanan termasuk PPN (Harga/hasil Custom)

catatan: Rata-rata, ScraperAPI memungkinkan Anda mengikis data hingga lima kali lebih banyak dibandingkan Oxylabs. Temukan bagaimana ScraperAPI dibandingkan dengan Oxylabs.

4. ScrapingBee

ScrapingBee adalah API pengikisan web yang sangat efisien yang menyederhanakan ekstraksi data dari situs web. Ini menangani manajemen proxy dan interaksi browser tanpa kepala untuk pengguna.

ScrapingBee sudah diinstal sebelumnya dengan fitur pengikisan tingkat lanjut seperti penargetan geografis, penyelesaian CAPTCHA, dan skenario JavaScript (yang memungkinkan pengguna menjalankan cuplikan JavaScript khusus sebagai bagian dari proses pengikisan mereka). Ini juga mendukung JSON sebagai format ekspor utama.

Untuk siapa ini?

ScrapingBee sangat cocok untuk pengembang dan usaha kecil yang membutuhkan API web scraping yang mudah dan ramah pengembang.

Mengapa Anda harus menggunakannya?

Direkomendasikan bagi pengembang yang mencari solusi sederhana untuk mengekstrak data. Namun, ini bisa menjadi batasan bagi pengembang dengan keterampilan web scraping tingkat lanjut karena mereka memiliki kontrol terbatas atas keseluruhan proses ekstraksi data.

Fitur Utama

• Modus proksi
• Mendukung rendering JavaScript dan browser tanpa kepala
• Kumpulan proxy yang besar
• Dukungan pelanggan yang luar biasa
• Mekanisme anti-lock bawaan
• Dokumentasi yang bagus

pro dan kontra

Harga

ScrapingBee memiliki empat paket berlangganan:

• Bebas: 1000 panggilan API gratis.
• Bekerja lepas: 49 $ per bulan (150.000 kredit API).
• Rintisan: 99 $ per bulan (1.000.000 Kredit API).
• Bisnis: 249 $ per bulan (3.000.000 kredit API).
• Bisnis+: 599 $+ per bulan (8.000.000+ kredit API).

catatan: Temukan bagaimana ScraperAPI dibandingkan dengan ScrapingBee.

5. Api

Apify adalah platform pengikisan dan otomatisasi web yang memungkinkan pengguna mengekstrak data dari situs web, mengotomatiskan alur kerja, dan membuat pelari (aktor) API khusus. Hal ini memungkinkan pengembang dengan mudah membangun dan menjalankan web scraper, crawler, dan alur kerja otomatisasi lainnya tanpa harus mengkhawatirkan manajemen infrastruktur.

Untuk siapa ini?

Apify sangat ideal bagi pengembang yang membutuhkan platform fleksibel untuk tugas pengikisan web dan otomatisasi khusus. Meskipun lebih ditujukan untuk pengembang yang ingin menyesuaikan web scraper mereka, ini adalah pilihan yang sangat baik bagi perusahaan yang ingin mengotomatiskan alur kerja pengumpulan data mereka.

Mengapa Anda harus menggunakannya?

Gunakan Apify jika Anda memerlukan solusi serbaguna yang mendukung alat pengikis yang dibuat sebelumnya dan khusus.

Fitur Utama

• Aktor (skrip yang dibuat sebelumnya dan khusus untuk berbagai tugas pengikisan)
• Apify SDK
• Layanan proxy
• Penyimpanan awan

pro dan kontra

Harga

Apify menawarkan paket penggunaan prabayar bulanan pada tingkat berikut:

• Gratis: 0 $ per bulan (lalu bayar sesuai kebutuhan).
• Pemula: 49 $ per bulan (lalu bayar sesuai kebutuhan).
• Cakupan: 499 $ per bulan (lalu bayar sesuai pemakaian).
• Bisnis: 999 $ per bulan (lalu bayar sesuai kebutuhan).
• Perusahaan: Kustom

6. Baris Zen

ZenRows adalah API pengikisan web yang kuat yang secara elegan menangani pemblokir anti-bot dan menyediakan ekstraksi konten berkualitas tinggi. API-nya menangani semua penghindaran anti-bot dengan fitur-fitur canggih seperti memutar proxy, browser tanpa kepala, menyelesaikan CAPTCHA, dan banyak lagi.

Untuk siapa ini?

ZenRows cocok untuk pengguna yang mencari solusi web scraping yang sederhana dan mudah. Ini ideal untuk individu dan usaha kecil dengan kebutuhan scraping sedang yang menghargai kemudahan penggunaan dibandingkan fitur-fitur canggih.

Mengapa Anda harus menggunakannya?

Anda harus menggunakan ZenRows jika Anda memerlukan alat yang mudah untuk mengekstrak data tanpa konfigurasi yang rumit. Antarmukanya yang ramah pengguna dan API yang sederhana membuatnya dapat diakses bahkan oleh mereka yang mungkin tidak memiliki pengetahuan teknis yang luas.

Namun, penting untuk dicatat bahwa seiring dengan meningkatnya kebutuhan pengikisan Anda, biayanya bisa jauh lebih tinggi dibandingkan dengan layanan yang diberikan. Untuk proyek besar atau kebutuhan pengikisan yang menuntut, Anda mungkin menemukan solusi yang lebih hemat biaya di tempat lain.

Fitur Utama

• Bypass deteksi anti-bot tingkat lanjut
• Render JavaScript terintegrasi
• Dokumentasi ramah pemula
• Memutar proxy dan manajemen kekayaan intelektual
• Rotasi agen pengguna
• Dukungan pelanggan berkualitas tinggi

pro dan kontra

Harga

Harga Zenrows mulai dari 69 $ per bulan. Anda memiliki empat paket berlangganan:

• pengembang: 69 $ per bulan
• Rintisan: 129 $ per bulan
• Bisnis: 299 $ per bulan
• Mengejar: kebiasaan

7. Proksi pintar

Smartproxy adalah penyedia proxy tepercaya yang menawarkan serangkaian API khusus termasuk pengikisan media sosial, pengikisan SERP, dan API pengikisan e-niaga yang disesuaikan dengan kasus penggunaan yang berbeda.

Selain itu, proxy perumahan, pusat data, dan ISP disediakan sebagai layanan terpisah. API menyediakan penghindaran anti-bot, rotasi proxy, dan mendukung rendering JavaScript.

Untuk siapa ini?

Smartproxy sangat ideal untuk bisnis, pengembang, dan analis data yang membutuhkan solusi proxy yang andal dan terukur untuk tugas web scraping, terutama yang berfokus pada platform media sosial.

Mengapa Anda harus menggunakannya?

Anda harus menggunakan Smartproxy jika Anda mencari proxy berkualitas tinggi ditambah dengan API scraping khusus yang memudahkan ekstraksi data dari berbagai situs web. Fitur-fiturnya membantu Anda melewati tindakan anti-bot, mengelola rotasi proxy, dan mengelola situs web yang banyak menggunakan JavaScript.

Fitur Utama

• Rotasi proxy otomatis
• Kumpulan proxy yang besar
• Rendering JavaScript
• Dukungan pelanggan yang baik:
• Taman bermain API

pro dan kontra

Harga

Smartproxy menawarkan uji coba gratis 7 hari dengan 1.000 permintaan sehingga pengguna dapat menguji fungsionalitas API sebelum menggunakan paket berbayar.

• Uji Coba Gratis: Uji coba gratis 7 hari – terbatas pada 1000 hasil
• Tingkat 1: 30 $ ditagih setiap bulan (2,0 $/1.000 hasil – 15.000 kueri)
• Tingkat 2: 80 $ ditagih setiap bulan (1,6 $/1.000 hasil – 50.000 kueri)
• Tingkat 3: 140 $ ditagih setiap bulan (1,40 $/1.000 hasil – 100.000 kueri)
• Tingkat 4: 300 $ ditagih setiap bulan (1,2 $/1.000 hasil – 250.000 kueri)

8. WebScrapingAPI

WebScrapingAPI mengelola peralihan proxy otomatis, resolusi CAPTCHA, dan rendering JavaScript tanpa memperlambat Anda. Ini mencakup header yang dapat disesuaikan dan fitur penargetan geografis, sehingga cocok untuk menghapus produk eCommerce, artikel berita, atau ulasan.

Untuk siapa ini?

WebScrapingAPI cocok untuk individu, pengembang, dan usaha kecil yang mencari solusi scraping yang terjangkau dan tidak merepotkan.

Mengapa Anda harus menggunakannya?

Anda harus menggunakan WebScrapingAPI karena kesederhanaan, kecepatan, dan efektivitas biayanya.

Fitur Utama

• Rotasi proxy otomatis
• solusi CAPTCHA
• Rendering JavaScript

pro dan kontra

Harga

Alat ini mengenakan biaya secara terpisah untuk paket API yang berbeda:

• Percobaan: 5000 panggilan API gratis.
• starter: 19 $ per bulan (700 panggilan API).
• dasar: 49 $ per bulan (20.000 panggilan API).
• standar: 99 $ per bulan (45.000 panggilan API).

API Scraping Web Terbaik Dibandingkan (Ikhtisar)

Berikut adalah perbandingan singkat dari API web scraping teratas yang tercantum di atas:

API pengikis menonjol sebagai API web scraping terbaik secara keseluruhan karena tingkat keberhasilannya yang tinggi, manajemen proxy yang kuat, dan kemudahan penggunaan, menjadikannya ideal untuk pengembang dan perusahaan dengan kebutuhan ekstraksi data skala besar. Data Cerah Dan laboratorium oksi ditujukan untuk proyek tingkat perusahaan dengan kumpulan proxy yang luas dan fitur premium, tetapi hadir dengan harga yang lebih tinggi.

ScrapingBee adalah pilihan ramah anggaran dan menawarkan integrasi tanpa kode dan kemampuan penyelesaian CAPTCHA, namun dengan opsi konkurensi terbatas. Sementara itu, Api Dan Baris Zen sangat bagus untuk pengguna yang mencari alur kerja yang dapat disesuaikan atau tindakan anti-bot tingkat lanjut, sehingga cocok untuk proyek menengah hingga besar.

Proksi Cerdas Dan WebScrapingAPI menawarkan solusi ramah pengguna dengan harga bersaing yang ditujukan untuk tugas pengikisan yang lebih kecil atau mudah.

Apa itu API Pengikisan Web?

Jika Anda belum pernah mendengar tentang API pengikisan web, pada dasarnya itu adalah API yang Anda panggil dengan URL yang ingin Anda pengikisan, dan API kemudian mengembalikan konten halaman di URL.

Biasanya, API pengikisan web mampu merender JavaScript, melewati Cloudflare, menggunakan proxy pribadi, dll. Oleh karena itu, dimungkinkan untuk mengikis situs web yang seharusnya dapat dilakukan menggunakan pendekatan normal seperti klien HTTP kosong atau hanya Peramban tanpa kepala akan sangat sulit ( atau bahkan tidak mungkin) untuk dikikis.

Mengapa Anda memerlukan API pengikisan?

API pengikisan web mengotomatiskan ekstraksi data web untuk berbagai tujuan termasuk pemantauan merek, intelijen harga, pengumpulan data keuangan, verifikasi iklan, riset pasar, pengoptimalan SEO dan SEM, pemantauan pesaing, dan pemantauan ulasan.

catatan: Lihat lima kasus penggunaan teratas dari pengikisan API beserta contohnya.

Yang terpenting, API scraping menyediakan infrastruktur dan fungsionalitas yang diperlukan untuk melewati tindakan anti-scraping dan memberi Anda akses ke data yang Anda pedulikan.

Hal-hal yang perlu dipertimbangkan saat memilih API scraping

Saat memilih API web scraping untuk proyek Anda, beberapa faktor penting harus dipertimbangkan dengan cermat untuk memastikan Anda memilih solusi yang tepat untuk kebutuhan spesifik Anda:

• Dokumentasi dan SDK: Pastikan API menyediakan dokumentasi yang jelas dan mendukung bahasa pemrograman utama seperti Python, Java, dan PHP untuk integrasi yang lancar.
• Pengumpulan data waktu nyata: Jika Anda memerlukan data terkini, carilah API yang menawarkan kemampuan pengumpulan data waktu nyata. Misalnya, API pengikis menawarkan DataPipeline untuk menjadwalkan pekerjaan pengikisan berulang dan memantau data secara real time.
• Model dan batasan penetapan harga: Pastikan untuk mengevaluasi model penetapan harga, batas konkurensi, dan tingkat keberhasilan untuk menemukan solusi hemat biaya yang sesuai dengan anggaran dan memenuhi kebutuhan data Anda.
• Skalabilitas: Pertimbangkan apakah API dapat menangani proyek besar dan memiliki potensi skalabilitas seiring dengan meningkatnya kebutuhan data Anda.
• Kecepatan dan efisiensi: Menilai seberapa cepat alat dapat memindai data. API yang efisien menghemat waktu dan sumber daya, terutama saat memproses data dalam jumlah besar.
• Fungsi khususs: Jika Anda memiliki kebutuhan khusus, seperti SERP atau scraping eCommerce, carilah API yang menawarkan titik akhir spesifik. ScraperAPI menyediakan titik akhir data terstruktur (SDE) untuk mengubah halaman HTML kompleks menjadi data JSON atau CSV terstruktur. Ini sangat berguna untuk mencari situs web besar seperti Amazon, Walmart, dan Google Search.

Cara menggunakan API scraper untuk pengumpulan data

Penggunaan API scraper menyederhanakan ekstraksi data dengan mengatasi tantangan teknis seperti manajemen proxy, resolusi CAPTCHA, dan rendering JavaScript. ScraperAPI memfasilitasi pengumpulan data web secara efisien, tanpa batasan infrastruktur dan dengan tingkat keberhasilan yang mengesankan sebesar 99,9 %.

Menggunakan API pengikisan ScraperAPI

Menggunakan ScraperAPI itu mudah. Cukup kirimkan URL yang ingin Anda scrap ke API beserta kunci API Anda, dan API akan mengembalikan respons HTML dari URL yang ingin Anda scrape.

ScraperAPI menggunakan kunci API untuk mengautentikasi permintaan. Untuk menggunakan API, Anda harus mendaftar akun dan memberikan kunci API unik Anda pada setiap permintaan.

Anda dapat menggunakan bahasa pemrograman favorit Anda untuk membuat permintaan ke titik akhir ScraperAPI. Dalam panduan ini kita akan menggunakan Python dengan permintaan, tetapi ScraperAPI mendukung banyak bahasa pemrograman. Kemudian berikan kunci API Anda dan URL target tempat Anda ingin mengekstrak data.

import requests
payload = {'api_key': 'APIKEY', 'url': 'https://httpbin.org/ip'}
r = requests.get('https://api.scraperapi.com', params=payload)
print(r.text)

Untuk menggunakan parameter tambahan seperti rendering Javascript dan geolokasi dengan ScraperAPI, cukup tambahkan parameter tersebut ke payload.

payload = {
    'api_key': API_KEY,
    'url': url,
    'render': 'true',
    'country_code': 'us'
}

catatan: Untuk petunjuk detail dan contoh kode, lihat dokumentasi ScraperAPI.

Menggunakan fitur-fitur canggih ScraperAPI

Untuk tugas pengikisan yang lebih kompleks, ScraperAPI menyediakan fitur-fitur canggih seperti rendering konten dinamis dan ekstraksi data terstruktur.

Petunjuk rendering JavaScript

ScraperAPI memungkinkan Anda mengikis situs web yang banyak menggunakan JavaScript dengan kumpulan perintah renderingnya. Ini sangat berguna untuk berinteraksi dengan konten dinamis, pengguliran tanpa batas, atau halaman yang memerlukan interaksi pengguna.

Untuk menelusuri halaman web dan memuat semua konten dinamis menggunakan ScraperAPI, siapkan kumpulan perintah:

import json

config = ({
    "type": "loop",
    "for": 3,
    "instructions": (
        {
            "type": "scroll",
            "direction": "y",
            "value": "bottom"
        },
        {
            "type": "wait",
            "value": 5
        }
    )
})

config_json = json.dumps(config)

headers = {
    'x-sapi-api_key': 'YOUR_API_KEY',
    'x-sapi-render': 'true',
    'x-sapi-instruction_set': config_json
}

Serangkaian perintah ini menggulir ke bagian bawah halaman tiga kali, menunggu lima detik di antara setiap gulir untuk memastikan semua konten dimuat sepenuhnya sebelum melakukan scraping.

Catatan: Pelajari lebih lanjut cara menyalin konten dinamis dengan ScraperAPI.

Ekstraksi Data Terstruktur (SDE)

Titik Akhir Data Terstruktur (SDE) ScraperAPI mengonversi HTML menjadi format terstruktur seperti JSON, sehingga memudahkan untuk mengekstrak titik data tertentu. Misalnya, Anda dapat menggunakan Amazon SDE untuk mengambil detail produk secara efisien:

import requests
import json

API_KEY = "YOUR_SCRAPER_API_KEY"
QUERY = "Sauvage Dior"

payload = {'api_key': API_KEY, 'query': QUERY, 'country': 'us'}
response = requests.get('https://api.scraperapi.com/structured/amazon/search', params=payload)

data = response.json()

with open('amazon_results.json', 'w') as json_file:
    json.dump(data, json_file, indent=4)

print("Results have been stored in amazon_results.json")

Kode ini menggunakan Amazon SDE ScraperAPI untuk mencari “Sauvage Dior” dan mengembalikan data produk terstruktur dalam format JSON.

catatan: Untuk informasi selengkapnya tentang titik akhir data terstruktur (SDE) ScraperAPI dan jenis data yang dapat Anda ekstrak, lihat dokumentasi SDE.

Jika Anda siap mencoba web scraping API, mengapa tidak memulai dengan ScraperAPI? ScraperAPI memberikan solusi lengkap untuk melewati semua tindakan anti-bot dan memindai situs web apa pun dalam skala besar tanpa diblokir.

Coba ScraperAPI gratis hari ini. Tidak diperlukan kartu kredit!