Beranda BlogPengikisan web Wawasan tentang E-Commerce dan Web Scraping dengan Pierluigi Vinciguerra (DataTalk #1)

Wawasan tentang E-Commerce dan Web Scraping dengan Pierluigi Vinciguerra (DataTalk #1)

oleh Kadek

Untuk entri pertama kami dalam format wawancara yang kami sebut DataTalk, kami mengundang Pierluigi Vinciguerra, salah satu pendiri dan CTO Re Analytics dan CTO databoutigue.com, untuk berbicara tentang pengalamannya di industri e-commerce.

Kami harap Anda menyukainya!


SINGA: Terima kasih atas waktunya, Pier! Pertama, ceritakan lebih banyak tentang diri Anda dan perusahaan Anda kepada kami.

DERMAGA: Pertama-tama, saya ingin mengucapkan terima kasih telah mengundang saya ke sini. Nama saya Pierluigi dan saya CTO Re Analytics dan Databoutique.com.

Saya mulai bekerja di Accenture pada tahun 2009, di mana saya bertemu Andrea, salah satu pendiri databoutique.

Kami bekerja mengelola infrastruktur data bank dan perusahaan asuransi dan kemudian, setelah mempresentasikan geodatabase yang dibuat oleh penyedia, kami mulai memikirkan data apa yang paling cocok.

Kami kemudian menyadari bahwa aliran data di situs web real estat memiliki potensi besar namun tidak ada yang mengumpulkannya, dan kami mulai melakukan ini menggunakan beberapa pengikis sederhana.

Segera kami memiliki database listing real estate terbesar di Italia, bahkan lebih besar dari database penyedia data resmi pemerintah. Sayangnya kami tidak dapat mengembangkan produk yang dapat dijual darinya, namun kami menyadari potensinya Pengikisan web sebagai sumber data.

Setelah percobaan awal dengan web scraping, kami menyempurnakan teknik kami dan fokus pada e-commerce scraping untuk fashion pada tahun 2015, yang merupakan pilihan bagus karena beberapa alasan:

  • Kami orang Italia dan sangat dekat dengan sebagian besar merek fesyen dan jaringannya. Biasanya, sebuah merek fesyen memiliki situs web yang melayani berbagai negara, masing-masing dengan harga berbeda.
  • Selain itu, sebagian besar merek-merek ini tercatat di bursa sehingga menarik tidak hanya bagi merek fesyen itu sendiri, tetapi juga bagi dunia keuangan.

Jadi kami mulai membangun beberapa analitik berdasarkan data yang diekstraksi dan setelah kami memiliki bukti pertama kelayakan pasar, Andrea dan saya berhenti dari pekerjaan kami untuk memulai Re Analytics.

Perusahaan ini dulunya dan masih merupakan perusahaan ekstraksi data web yang juga menambahkan keahlian industri pada data dan berfokus pada e-commerce mode. Faktanya, kami menjual analisis dan layanan kami secara langsung atau tidak langsung ke sebagian besar merek fesyen besar di Italia dan beberapa investor di sektor ini.

Perusahaan ini berfungsi, tetapi selama bertahun-tahun di bidang ini kami menemui beberapa keterbatasan yang umum terjadi pada semua pabrik web scraping: sulit untuk memenuhi semua permintaan pelanggan Anda atau calon pelanggan.

Untuk mengatasi semua masalah ini, kami, Andrea dan saya, menciptakan databoutique, pasar yang dirancang khusus untuk data publik, legal, dan terjamin kualitasnya yang diperoleh dari web scraping.

SINGA: Anda mungkin pernah melihat banyak tren datang dan pergi. Jadi saya bertanya-tanya: Menurut Anda, bagaimana data mengubah industri e-commerce? – Saya harap saya mengekspresikan diri dengan benar.

DERMAGA: E-commerce adalah industri yang sangat besar sehingga saya tidak bisa mengatakan bagaimana perubahannya dari perspektif global. Tapi saya bisa mengatakan apa yang saya lihat dari sudut pandang saya di Eropa dan khususnya di situs barang mewah.

Kita dapat mengatakan bahwa dalam dekade terakhir, e-commerce di industri ini telah berkembang dari ukuran yang tidak signifikan (sebagian besar merek-merek mewah kelas atas tidak memiliki e-commerce sama sekali) menjadi must-have yang menyumbang sebagian besar pendapatan. penjualan mereka.

Namun, menjalankan situs web e-niaga juga memiliki beberapa tantangan, karena pada dasarnya Anda mengungkapkan harga Anda kepada publik, suatu hal yang tidak biasa dalam industri barang mewah.

Anda bersaing di arena yang sama (Internet) dengan pelanggan grosir Anda sendiri (toko multi-merek yang membeli dari Anda untuk menjual kembali barang ke pelanggan mereka) dan dengan toko fisik Anda sendiri.

Artinya, harga Anda harus konsisten di semua saluran. Meskipun merek yang melakukan pendekatan langsung ke konsumen memiliki kendali atas apa yang terjadi, pedagang grosir tidak. Oleh karena itu, kami ingin meminta data web untuk lebih memahami apa yang terjadi di pasar.

SINGA: Dengan mengingat hal ini, kapan saat yang tepat bagi perusahaan untuk mulai mengumpulkan data?

DERMAGA: Itu pertanyaan yang bagus dan jawabannya tidak mudah karena umumnya sulit untuk memahami laba atas investasi proyek data apa pun.

Maksud saya, Anda tidak membeli solusi baru yang dapat menghemat X persen tagihan cloud Anda, namun saat Anda membeli data (atau meluncurkan operasi web scraping), pada dasarnya Anda membeli bahan pertama dalam sebuah resep. Maka Anda memerlukan kemampuan koki untuk mengukir sesuatu yang lezat darinya dan pelanggan yang menganggap hidangan tersebut lezat.

Kembali ke pertanyaan Anda, tentu semakin banyak data yang dimiliki suatu perusahaan akan semakin baik, karena tim data science memiliki peluang lebih besar untuk menemukan sesuatu yang berguna. Namun, menurut saya perusahaan harus terlebih dahulu menetapkan sasaran untuk KPI tertentu dan mencoba mengidentifikasi sumber data mana yang berguna untuk lebih memahami fenomena yang diamati dan bagaimana KPI ini dapat ditingkatkan. Setelah hal ini ditentukan, Anda harus mengumpulkan data yang Anda perlukan dan mulai mengembangkan beberapa solusi.

SINGA: Berdasarkan pengalaman Anda, apakah Anda yakin bahwa perusahaan (saat ini) menggunakan data alternatif secara maksimal?

DERMAGA: Yang dimaksud dengan “data alternatif” adalah sumber data yang dapat membantu menggambarkan KPI keuangan suatu perusahaan dan tidak berasal dari perusahaan itu sendiri. Jenis data ini sangat menarik bagi hedge fund dan investor pada umumnya.

Data alternatif yang paling terkenal adalah transaksi kartu kredit: jika Anda mengetahui di mana dan apa yang dibeli orang, Anda dapat menggunakan beberapa model matematika untuk memprediksi bagaimana kinerja masing-masing perusahaan tercatat dibandingkan tahun lalu.

Karena tidak ada penyedia data tunggal untuk semua transaksi di dunia, Anda mungkin tidak memiliki angka penjualan yang tepat, namun Anda bisa mendekatinya.

Tentu saja, web scraping juga dapat digunakan untuk menghasilkan data alternatif: banyak situs web mengungkapkan tingkat inventaris, sehingga Anda dapat menggunakan informasi ini untuk memperkirakan jumlah unit yang terjual. Anda dapat melacak reputasi dan ulasan online perusahaan, kepuasan pelanggan, dan banyak kasus penggunaan lainnya.

Hanya menggunakan satu kumpulan data mungkin tidak memberikan gambaran lengkap. Namun, menambahkan catatan berbeda ke perusahaan yang sama memberi Anda gambaran yang lebih jelas.

Sekali lagi, penerapan data alternatif dari web scraping masih dibatasi oleh biaya jenis data ini dan sulitnya menghubungkan produk data ke KPI tertentu untuk dilacak. Oleh karena itu, sulit untuk memahami laba atas investasi, namun kita masih berada di awal kurva adopsi.

SINGA: Mereka baru-baru ini menerbitkan artikel menarik tentang inventaris yang sangat cocok di sini. Bisakah Anda memberi tahu kami lebih banyak tentang hal itu?

DERMAGA: Ini adalah contoh data alternatif berbasis web scraping yang dapat digunakan!

Dalam artikel ini, saya menjelaskan bagaimana Lowe's, sebuah perusahaan perbaikan rumah publik, menampilkan jumlah pasti barang yang tersedia per item yang ditampilkan di situs webnya.

Artinya, setelah kita memahami pengaruh saluran online terhadap penjualan global perusahaan dan dari mana asal barang yang dijual (dari gudang atau toko fisik), kita dapat menghitung penjualan yang dilakukan melalui situs web dan nilai penjualan global perusahaan tersebut.

Dalam kasus khusus ini, Anda harus memilih toko pengambilan pilihan Anda sebelum mengetahui ketersediaan barang di sana. Karena situs tersebut dilindungi dengan Akamai dan toko pilihan perlu diubah, saya memilih Penulis Drama.

Hal ini memungkinkan saya untuk mengatur koordinat browser ke toko yang ingin saya pilih, sekaligus dengan mudah melewati Akamai karena saya menggunakan browser asli untuk berinteraksi dengan situs tersebut.

Karena artikel ini dimaksudkan untuk menunjukkan potensi web scraping untuk menciptakan data alternatif bagi industri keuangan, saya tidak menjalankan scraper di seluruh situs, tetapi hanya pada kategori “Kulkas Pintu Prancis”. Apa yang saya temukan adalah jika Anda memesan suatu barang dari situs Lowe dan memutuskan untuk mengambilnya di toko, kemungkinan besar barang tersebut berasal dari gudang dan bukan dari toko itu sendiri.

Faktanya, setidaknya dalam kategori ini, tingkat persediaan di dua toko berbeda di NY adalah sama. Saat memilih toko lain di LA, inventarisnya berbeda. Jadi kemungkinan besar dipasok oleh gudang yang berbeda.

Namun mengapa informasi ini begitu menarik? Dengan melacak inventaris, Anda dapat memperkirakan penjualan dan, jika Anda memiliki data historis yang cukup, melihat dengan jelas tren tidak hanya di Lowe's itu sendiri, tetapi juga di antara merek-merek yang dijual Lowe's. Anda dapat memeriksa apakah hal ini berkorelasi dengan penjualan atau bagaimana produk baru dipandang oleh pasar (mari kita ambil contoh Apple TV versi baru).

SINGA: Terima kasih atas jawaban Anda yang luar biasa, Pier! Saya sangat menghargai waktu dan semangat Anda terhadap industri ini. Sebelum Anda pergi, bisakah Anda memberi tahu pembaca kami bagaimana mereka bisa tetap berhubungan dengan Anda?

DERMAGA: Saya berbagi pengalaman saya dengan web scraping dengan artikel seperti yang Anda sebutkan sebelumnya di Substack bernama The Web Scraping Club. Sebagian besar artikel gratis dan berkisar dari kursus pemula hingga ulasan produk dan teknik lanjutan dengan kode dan contoh. Kami juga memiliki server Discord untuk berbagi ide dan keraguan dan Anda dapat menghubungi saya di LinkedIn.


Kami harap Anda menikmati wawancara DataTalk pertama kami! Kami memiliki banyak poin pembicaraan menarik lainnya untuk tahun 2024, jadi pantau terus untuk informasi lebih lanjut ^^

Ingin mempelajari lebih lanjut tentang pengikisan eCommerce? Lihat tutorial dan panduan terbaru kami:

Pos terkait

Tinggalkan Komentar