Jasa Skripsi Tesis Disertasi Web Scraping | Otomatisasi Pengambilan Data Harga Produk E-Commerce dengan Python Web Scraping dari situs seperti Tokopedia, Shopee, atau Bukalapak

Berikut adalah silabus 20 sesi @ 1,5 jam untuk topik:

“Otomatisasi Pengambilan Data Harga Produk E-Commerce dengan Python Web Scraping”

Level: Pemula hingga Mahir

Fokus: Scraping harga produk dari Tokopedia, Shopee, dan Bukalapak secara legal dan etis

Sesi 1: Pengenalan Web Scraping

• Apa itu Web Scraping?

• Legalitas dan etika scraping data

• Contoh hasil scraping dari e-commerce

Sesi 2: Instalasi & Setup Lingkungan

• Instalasi Python, pip, VS Code/Jupyter Notebook

• Instalasi library: requests, BeautifulSoup, pandas

• Perkenalan HTTP Request & Response

Sesi 3: Dasar HTML & Struktur DOM

• Tag HTML umum: <div>, <span>, <a>, <ul>, dll

• Cara membaca struktur web via browser (Inspect Element)

Sesi 4: Scraping Sederhana dengan Requests & BeautifulSoup

• Mengambil halaman HTML

• Ekstraksi tag tertentu (judul produk, harga)

Sesi 5: Menyimpan Data Hasil Scraping ke CSV

• Ekstraksi banyak produk dalam satu halaman

• Simpan data ke dalam format CSV dengan pandas

Sesi 6: Studi Kasus: Scraping Harga Produk di Tokopedia

• Identifikasi elemen penting

• Navigasi pagination halaman

• Scraping data nama, harga, rating produk

Sesi 7: Studi Kasus: Shopee (versi 1 – Basic Page Source)

• Identifikasi struktur HTML Shopee

• Teknik parsing konten statis

Sesi 8: Studi Kasus: Bukalapak (versi 1 – Basic Page Source)

• Teknik serupa dengan Tokopedia dan Shopee

• Perbedaan struktur data

Sesi 9: Handling Pagination dan Parameter URL

• Scraping beberapa halaman produk

• Membuat loop URL dengan parameter

Sesi 10: Penanganan Data Kosong dan Error Handling

• Cek data tidak ditemukan

• Try-Except, validasi, dan logging sederhana

Sesi 11: Memahami Dynamic Website (JavaScript-Rendered)

• Perbedaan content statis vs dinamis

• Alat bantu inspeksi: Network tab → XHR

Sesi 12: Web Scraping Dinamis dengan Selenium

• Instalasi dan setup Selenium + WebDriver

• Scraping dari website dengan JavaScript render

Sesi 13: Automasi dengan Selenium (Tokopedia/Shopee)

• Scroll otomatis, klik tombol “Lihat lebih banyak”

• Ambil data dari hasil scroll

Sesi 14: Studi Kasus Selenium + Shopee (Dinamis)

• Ambil data dengan simulasi user behavior

• Waktu tunggu (sleep/wait) dan stabilisasi scraping

Sesi 15: Penyimpanan Data ke Database (SQLite/MySQL)

• Struktur tabel untuk data produk

• Menyimpan hasil scraping ke DB

Sesi 16: Automasi Jadwal Scraping dengan schedule

• Scraping berkala: tiap hari/minggu

• Setup cron job (Windows Task Scheduler/Linux Cron)

Sesi 17: Data Cleaning & Normalisasi

• Format harga jadi angka

• Menghilangkan simbol dan satuan

Sesi 18: Visualisasi Sederhana Hasil Scraping

• Plot harga produk per toko/brand

• Gunakan matplotlib / seaborn

Sesi 19: Mini Proyek: Scraping Harga dan Stok Produk di 2 Marketplace

• Kombinasi semua materi sebelumnya

• Simpan ke file CSV dan database

Sesi 20: Presentasi Proyek + Tips Anti-Blokir

• Presentasi hasil scraping

• Tips penggunaan user-agent, delay, proxy rotator