Spaces:
Sleeping
Sleeping
| title: Skripsi Crawling Data | |
| emoji: 🕷️ | |
| colorFrom: indigo | |
| colorTo: blue | |
| sdk: gradio | |
| sdk_version: 4.44.0 | |
| app_file: app_hf.py | |
| pinned: false | |
| # Job Scraper | |
| Proyek ini adalah scraper lowongan kerja yang mengumpulkan data dari LinkedIn dan JobStreet, membersihkannya, lalu menyimpannya ke database Supabase. | |
| ## Fitur | |
| - Scraping lowongan dari **LinkedIn** dan **JobStreet** | |
| - Multi-keyword scraping (daftar di `run.py`) | |
| - Automasi browser menggunakan Playwright | |
| - Pembersihan dan normalisasi data sebelum disimpan | |
| - Ekstraksi otomatis skill, tipe kerja, gaji, dan kontak dari deskripsi | |
| - Penyimpanan data ke Supabase dengan mekanisme upsert | |
| - Penjadwalan scraping setiap 24 jam, atau mode `--once` untuk cron/CI | |
| ## Setup | |
| 1. Clone repository ini | |
| 2. Buat virtual environment (Python 3.10+): | |
| python -m venv venv | |
| venv\Scripts\activate | |
| 3. Install dependensi: | |
| pip install -r requirements.txt | |
| 4. Instal browser untuk Playwright: | |
| playwright install chromium | |
| 5. Salin file `.env.example` menjadi `.env`, lalu isi kredensial Supabase: | |
| cp .env.example .env | |
| SUPABASE_URL=your_supabase_url | |
| SUPABASE_ANON_KEY=your_supabase_anon_key | |
| 6. Jalankan scraper (sekali jalan lalu keluar, cocok untuk cron/CI): | |
| python run.py --once | |
| Atau jalankan sebagai service berjalan terus (scrape tiap 24 jam): | |
| python run.py | |
| ## Struktur Modul | |
| - `run.py` - Entry point, multi-keyword, menjadwalkan scraping dan menyimpan data | |
| - `linkedin.py` - Scraping lowongan dari LinkedIn | |
| - `jobstreet.py` - Scraping lowongan dari JobStreet | |
| - `browser.py` - Konfigurasi Playwright (Chromium headless) | |
| - `base.py` - Helper delay, scroll, dan retry navigasi | |
| - `extract.py` - Ekstraksi gaji, tipe kerja, dan kontak dari deskripsi | |
| - `normalize.py` - Normalisasi format data sebelum disimpan | |
| - `cleaner.py` - Validasi dan pembersihan data yang tidak valid | |
| - `supabase_client.py` - Koneksi ke Supabase | |
| - `skills_keyword.py` - Daftar keyword untuk ekstraksi skill | |
| - `schema.sql` - Skema tabel `jobs` di Supabase | |
| ## Database | |
| Jalankan `schema.sql` di Supabase untuk membuat tabel `jobs`, atau pastikan sudah ada dengan skema berikut: | |
| - `title` | |
| - `company` | |
| - `location` | |
| - `type` (Full-time / Part-time / Contract / Internship) | |
| - `salary` | |
| - `description` | |
| - `skills` (jsonb) | |
| - `contact_info` | |
| - `url` | |
| - `source` | |
| - `is_active` | |
| Kolom `url` bersifat unik dan digunakan sebagai konflik untuk upsert. | |
| ## Deployment | |
| ### GitHub Actions (gratis, untuk demo skripsi) | |
| Jalankan scraping setiap 24 jam lewat cron workflow, contoh `.github/workflows/scrape.yml`: | |
| ```yaml | |
| name: scrape | |
| on: | |
| schedule: | |
| - cron: "0 3 * * *" | |
| workflow_dispatch: | |
| jobs: | |
| run: | |
| runs-on: ubuntu-latest | |
| steps: | |
| - uses: actions/checkout@v4 | |
| - uses: actions/setup-python@v5 | |
| with: | |
| python-version: "3.12" | |
| - run: pip install -r requirements.txt | |
| - run: python -m playwright install --with-deps chromium | |
| - run: python run.py --once | |
| env: | |
| SUPABASE_URL: ${{ secrets.SUPABASE_URL }} | |
| SUPABASE_ANON_KEY: ${{ secrets.SUPABASE_ANON_KEY }} | |
| ``` | |
| Atur `SUPABASE_URL` dan `SUPABASE_ANON_KEY` di *Settings → Secrets and variables → Actions*. Alternatif lain: Railway/Render (cron bawaan) atau VPS murah. | |