Pengikisan web Web scraping adalah teknik mengekstraksi data dari situs web dan sumber lain. Beberapa tahun terakhir ini semakin meluas, terutama di dunia bisnis. Jika dipikir-pikir, data saat ini adalah aset terbesar setiap perusahaan. Pasar analisis data diperkirakan akan tumbuh pada CAGR sebesar 30,41 %, dari $41,39 miliar pada tahun 2022 menjadi $346,33 miliar pada tahun 2030.
Namun meskipun penggunaannya tersebar luas, masih banyak kebingungan mengenai legalitasnya – apakah web scraping legal atau ilegal?
Bertentangan dengan kepercayaan umum, web scraping sendiri sepenuhnya legal dan tidak ilegal. Namun, ini tidak berarti bahwa setiap jenis Pengikisan web legal adalah; Seperti halnya semua aktivitas manusia, pedoman tertentu harus dipatuhi agar tetap legal. Pencakar web perlu mengetahui peraturan perlindungan data pribadi dan kekayaan intelektual serta ketentuan penggunaan situs web yang mereka akses.
Harap diperhatikan: Meskipun kami berupaya memberikan informasi yang akurat dan berwawasan luas, kami tidak mengklaim keahlian hukum. Untuk nasihat hukum berbeda yang disesuaikan dengan proyek spesifik Anda, selalu disarankan untuk berkonsultasi dengan pengacara yang berkualifikasi di yurisdiksi Anda.
Daftar Isi
Apakah pengikisan web legal?
Singkatnya, ya. Pengikisan web dianggap sebagai aktivitas legal selama tidak membahayakan keamanan informasi rahasia atau kredibilitas dan kekayaan intelektual pihak yang datanya dikumpulkan. Asalkan data yang tersedia untuk umum yang diperoleh melalui web scraping hanya memiliki tujuan positif, maka hal tersebut dapat dianggap diperbolehkan secara hukum.
Penting untuk dipahami bahwa web scraping pada dasarnya hanyalah alat otomatis yang dirancang untuk mereplikasi proses ekstraksi data manual. Alat itu sendiri tidak mempunyai konotasi hukum. Melainkan dampak hukum yang timbul dari penerapan dan penggunaannya.
Menjelajahi undang-undang seputar pengambilan informasi pribadi yang tersedia untuk umum
Tiap wilayah mempunyai aturan dan regulasi berbeda terkait web scraping, khususnya terkait data pribadi. Mari kita lihat secara spesifik undang-undang ini berdasarkan wilayah:
Uni Eropa – GDPR
Peraturan Perlindungan Data Umum (GDPR) merupakan peraturan umum Uni Eropa yang mengatur penggunaan dan perlindungan data pribadi. GDPR mendefinisikan data pribadi sebagai “informasi apa pun yang berkaitan dengan individu yang teridentifikasi atau dapat diidentifikasi”. Definisi luas ini menunjukkan bahwa bahkan potongan-potongan informasi, jika disatukan, mengarah pada identifikasi individu tertentu dan oleh karena itu dapat diklasifikasikan sebagai data pribadi.
Undang-Undang Privasi A.S. dan Peraturan Lainnya
Di Amerika Serikat, tidak ada undang-undang privasi federal yang tunggal dan menyeluruh. Sebaliknya, ada beberapa undang-undang negara bagian dan industri yang mengatur berbagai aspek informasi pribadi, web scraping, dan penipuan komputer.
-
Undang-Undang Privasi Konsumen California (CCPA): Undang-undang ini mengatur cara perusahaan di seluruh dunia menangani informasi pribadi penduduk California. Informasi pribadi adalah informasi yang mengidentifikasi, berkaitan dengan, atau secara wajar dapat dikaitkan dengan individu atau rumah tangga. Meskipun undang-undang ini mencakup berbagai macam data, undang-undang ini mengecualikan informasi yang tersedia untuk umum seperti catatan pemerintah. Dengan diperkenalkannya California Privacy Rights Act (CPRA), definisi dan perlindungan CCPA disempurnakan. Misalnya, data yang sebelumnya dipublikasikan oleh seseorang tidak lagi mendapatkan perlindungan yang sama, artinya perusahaan dapat menghapus data pribadi, namun hanya di California.
-
Undang-undang federal AS lainnya: Selain CCPA, peraturan penting lainnya mencakup Undang-Undang Portabilitas dan Akuntabilitas Asuransi Kesehatan (HIPAA), yang berfokus pada layanan kesehatan, dan Undang-Undang Gramm-Leach-Bliley tahun 1999 (GLBA), yang berfokus pada keuangan yang terkonsentrasi .
Terkait aktivitas web scraping, khususnya yang melibatkan pengumpulan data, terdapat keyakinan luas bahwa hanya informasi pribadi pribadi yang dilindungi. Penting juga untuk menyadari nuansa hukum daerah ketika membaca data publik. Mengabaikan seluk-beluk ini dapat mengakibatkan ketidakpatuhan dan kemungkinan konsekuensi hukum.
Cara mengikis data secara legal
Untuk mengekstrak data secara legal, Anda perlu melakukan lebih dari sekedar mengikuti hukum. Ada berbagai jenis perjanjian dan kebijakan yang juga harus Anda ikuti saat mengumpulkan informasi secara online.
Syarat Penggunaan
Ketentuan Layanan (TOU) adalah perjanjian kontrak antara penyedia layanan dan pengguna yang menetapkan bagaimana mereka harus mematuhi penggunaan situs web atau layanan. Penting bagi situs web untuk memperjelas kewajiban antara pengguna dan tindakan, akun, produk, dan teknologi mereka karena hal ini membantu melindungi informasi pribadi apa pun yang disimpan di situs web.
Perjanjian juga dapat berupa browserwrap dan clickwrap.
Perjanjian Browserwrap dibuat saat Anda mengunjungi situs web. Terkadang mereka muncul secara diam-diam di bagian bawah layar atau di menu drop-down. Dalam kasus ini, perjanjian tersebut biasanya tidak mengikat secara hukum.
Perjanjian clickwrap mengharuskan pengguna untuk mencentang kotak centang atau mengklik tombol. Di bawah tombol atau kotak centang Anda akan menemukan persetujuan tertulis terhadap syarat dan ketentuan situs web. Setelah Anda menyetujuinya, Syarat dan Ketentuan menjadi mengikat secara hukum.
File robots.txt
Saat ini, robots.txt adalah alat penting bagi pemilik dan pengembang situs web, yang berfungsi sebagai jembatan komunikasi antara manusia dan program komputer canggih seperti perayap web atau bot mesin pencari. Robots.txt menginstruksikan perayap web cara berinteraksi dengan situs web, memberi mereka wawasan mendalam tentang struktur konten, seperti hierarki laman web dan jenis format file.
Aturan di Robots.txt harus diikuti dengan hati-hati dan diperiksa apakah ada web scraping yang sah. Namun, jika Persyaratan Layanan atau file Robots.txt secara khusus mencegah pengikisan konten, Anda harus mendapatkan izin dari pemilik situs web sebelum mengumpulkan data.
Kebijakan pribadi
Kebijakan Privasi ini adalah dokumen yang menetapkan aturan pengumpulan dan pemrosesan data pribadi Pengguna di Situs Web. Yang terbaik adalah membaca Kebijakan Privasi sebelum menggunakan situs web atau mendaftar. Ini menjelaskan data apa yang dikumpulkan situs web, alasan pengumpulannya, dan cara penggunaannya.
Perjanjian Penggunaan Data
Perjanjian Penggunaan Data (DUA) adalah dokumen yang diwajibkan oleh kebijakan privasi. Ini digunakan untuk mentransfer data yang dikembangkan oleh organisasi nirlaba, pemerintah, atau swasta ketika data tersebut tidak tersedia untuk umum atau memiliki batasan penggunaan.
Etika pengikisan web
Beberapa hal dapat dilakukan secara etis atau tidak etis. Dan web scraping adalah salah satunya. Etika pengumpulan data otomatis bervariasi tergantung pada tahap proses pengikisan yang Anda lakukan.
Tanpa menetapkan standar etika untuk web scraping, akan sulit membedakan antara web scraper jahat yang ingin menjiplak atau mengambil keuntungan dari mereka yang mengeksploitasi data tanpa melanggar hukum, berinovasi, dan menganalisis pasar.
Dari segi etika, tidak ada salahnya menggunakan scraping untuk keperluan bisnis, mengingat sudah banyak kegunaan web scraping dan penyedia profesional di pasaran. Namun, ada aturan yang harus Anda ikuti jika ingin mengumpulkan data secara etis.
Faktanya, web scraper mewakili solusi penting bagi pengguna yang membutuhkan data dari situs web dan layanan yang tidak memiliki API.
Praktik terbaik pengikisan web
Pengikisan web adalah alat pengumpulan dan analisis data yang sangat berguna, namun harus dilakukan secara bertanggung jawab. Penting untuk diingat bahwa web adalah sumber daya bersama dan merupakan kepentingan semua orang untuk menggunakannya dengan hormat. Praktik terbaik berikut akan membantu memastikan bahwa aktivitas web scraping Anda etis dan mematuhi hukum.
Jangan membebani situs target secara berlebihan
Saat mengambil data dari situs web, penting untuk melakukan langkah demi langkah. Membatasi jumlah permintaan bersamaan memastikan bahwa proses pengikisan tidak berdampak pada pengalaman pengguna pengunjung manusia. Selain itu, pemantauan yang cermat terhadap penundaan antar permintaan memastikan bahwa situs yang diretas tetap terbuka dan dapat diakses oleh semua pihak. Ketika pengikisan agresif dilakukan, hal ini dapat menyebabkan masalah fungsionalitas, baik yang berdampak pada pengalaman pengguna maupun berpotensi memicu serangan penolakan layanan (DoS) yang menyebabkan situs web mogok dan membuat kontennya tidak dapat diakses oleh orang lain. Dengan melakukannya secara perlahan dan memperhatikan waktu dengan aktivitas paling sedikit di situs, Anda dapat secara proaktif mencegah dampak negatif tersebut.
Hormati hak cipta
Data apa pun yang dikumpulkan di Internet bukan milik Anda. Saat menyalin situs web, pastikan Anda tidak mengumpulkan data kepemilikan apa pun. Untuk informasi lebih lanjut mengenai masalah hak cipta, silakan baca Syarat dan Ketentuan serta Kebijakan Privasi Situs.
Hanya kikis data yang Anda perlukan
Kumpulkan hanya informasi yang benar-benar Anda perlukan dan akan digunakan untuk pekerjaan Anda. Hal ini meminimalkan risiko membebani situs yang dikikis dengan lalu lintas yang tidak diinginkan. Selain itu, Anda hanya menerima data yang Anda gunakan dan tidak menyimpan konten yang tidak berguna di database.
Bersikap sopan
Sebelum melakukan scraping, ada baiknya bersikap sopan dan menanyakan apakah Anda dapat mengumpulkan data ini.
Anda dapat mengidentifikasi web scraper menggunakan string agen pengguna yang sah. Dengan cara ini, agen pengguna muncul memberi tahu pemilik situs web tentang aktivitas Anda, tujuan dan organisasinya. Hal ini menunjukkan rasa hormat kepada pemilik website.
Gunakan alat pengikis web khusus
Saat Anda mengumpulkan banyak data, hampir tidak mungkin untuk memeriksa standar setiap situs satu per satu. Sebaiknya gunakan alat khusus seperti Web Scraping API untuk menghindari kerumitan. Anda juga dapat menghubungi spesialis kami yang akan menangani ekstraksi informasi yang benar dan mengembangkan pengikis data khusus untuk tujuan Anda.
Diploma
Kami berharap setelah membaca artikel ini Anda mendapatkan gambaran tentang legalitas pengikisan. Misalnya, web scraping adalah legal jika Anda mengumpulkan data dari situs web untuk kepentingan umum atau penelitian ilmiah.
Pengikisan web adalah ilegal jika Anda mengambil informasi rahasia untuk mendapatkan keuntungan, seperti mengumpulkan informasi pribadi tanpa izin dan menjualnya kepada pihak ketiga. Juga tidak etis jika menganggap konten yang dihapus sebagai milik Anda.
Aspek penting untuk dipertimbangkan adalah pengikisan data pribadi. Sekalipun data tersebut tersedia untuk umum, menambang data pribadi tanpa izin tertulis atau untuk tujuan jahat dapat menimbulkan komplikasi hukum dan dilema etika. Penting untuk melakukan pendekatan terhadap aktivitas tersebut dengan hati-hati dan menghormati privasi individu.
Pengikisan web memiliki masa depan yang cerah sebagai alat yang berharga dan etis untuk mengumpulkan informasi dan bahkan menghasilkan informasi baru secara online. Dengan menghormati persyaratan layanan situs web lain, mengikuti hukum, dan mengambil pendekatan etis dalam melakukan scraping, Anda akan terhindar dari masalah dengan pemilik situs web.
