Spaces:
Configuration error
Configuration error
| language: | |
| - id | |
| - en | |
| tags: | |
| - recommender-system | |
| - bundle-recommendation | |
| - popularity-bias | |
| - long-tail-exposure | |
| - controlled-reranking | |
| - collaborative-filtering | |
| - co-occurrence-graph | |
| title: Analisis Eksperimen TA | |
| # Pemerataan Eksposur Produk Long-Tail pada Sistem Rekomendasi Bundle melalui Simplified Two-Stage Recommendation dan Controlled Reranking Layer | |
| Repositori ini memuat implementasi penuh, catatan log eksekusi (`logs/`), pengujian unit otomatis (`tests/`), serta artefak hasil evaluasi (`data/processed/`) untuk penelitian Tugas Akhir mengenai **Sistem Rekomendasi Paket (*Bundle Recommendation*) Dua Tahap yang Disederhanakan (*Simplified Two-Stage Recommendation*) dengan Lapisan Pengurutan Ulang Terkontrol (*Controlled Reranking Layer*)**. | |
| Eksperimen dilakukan secara komprehensif pada dua dataset rilis **Amazon Review Data (2018)** yang memiliki karakteristik skala, kepadatan relasi graf (`also_buy` dan `also_view`), serta tingkat ketimpangan popularitas (*popularity bias*) yang kontras: | |
| 1. **Amazon `2018_Toys_and_Games`** *(Skala Menengah – Katalog Spesifik/Ceruk dengan Distribusi Relasi Graf Merata)* | |
| 2. **Amazon `2018_Movies_and_TV`** *(Skala Masif – Katalog Blockbuster dengan Dominasi Bias Popularitas Ekstrem)* | |
| --- | |
| ## 1. Analisis Eksperimen 1: Dataset `2018_Toys_and_Games` | |
| ### 1.1. Karakteristik Data, Sparsity, dan Distribusi Popularitas Awal (Hari 1) | |
| * **Penyaringan Skala Menengah:** Dari **8.201.231** baris interaksi mentah dan **633.883** metadata produk, proses deduplikasi dan *Iterative K-Core Filtering* menghasilkan **1.025 pengguna aktif ($|U|$)**, **3.399 produk ($|I|$)**, dan **48.318 interaksi bersih** (rata-rata $47,14$ transaksi per pengguna). | |
| * **Kekayaan Relasi Graf & Kategori Asli:** Terdapat **287 kategori unik** (yang membentuk **3.434 unit kategori/ceruk evaluasi** pada matriks evaluasi akhir). Setelah pembersihan *dangling edges*, tersisa **12.531 sisi `also_buy`** dan **3.375 sisi `also_view`** valid. | |
| * **Protokol Masking & Sparsity:** Pemisahan 80:20 mengunci **39.040 interaksi latih ($80,80\%$)** dan menyembunyikan **9.278 interaksi uji/masking ($19,20\%$)** dengan **0 kebocoran data (*Zero Leakage*)**. Matriks latih berukuran $1.025 \times 3.399$ memiliki tingkat **Sparsity sebesar 98,8794%**. | |
| * **Karakteristik Kurva Long-Tail:** Berdasarkan pembagian Pareto 20:30:50 pada *Train Set* (**680 HEAD : 1.020 MID : 1.699 TAIL**), **20% produk HEAD menguasai 33,70% dari total interaksi** (dengan rentang frekuensi $[0, 77]$). Angka $33,70\%$ ini menunjukkan bahwa meskipun terdapat bias popularitas, minat pengguna pada domain mainan dan permainan cukup tersebar ke berbagai produk spesifik/ceruk. | |
|  | |
| ### 1.2. Performa Stage 1 (UBCF) & Stage 2 (Co-occurrence Graph) (Hari 2) | |
| * **Stage 1 (Modified UBCF):** Rata-rata ambang kepuasan pengguna ($\bar{r}_u$) adalah **4,2153** (rentang $[2.61, 5.00]$). Matriks kemiripan pengguna ($1.025 \times 1.025$) mencatat **303.852 pasangan kemiripan aktif**, menghasilkan **3.444.935 prediksi valid** dengan **Seen-Item Leakage = 0**. Rata-rata setiap pengguna memiliki **15,13 item *Low-Rated* ($L_u$)** dan **23,11 item *High-Rated* ($H_u$)** (dengan 52 pengguna ditangani melalui *Uniform Rating Fallback*). | |
| * **Stage 2 (Co-occurrence Graph):** Graf berarah memiliki **3.399 simpul** dan **27.850 sisi aktif** (`buy` = 12.531, `view` = 3.375, `reverse` = 12.684), dengan rata-rata kemiripan kategori antar-item sebesar **0,3403**. | |
| * **Temuan Skenario 1 (Baseline Top-10):** Berkat padatnya jalur graf `also_buy`/`also_view` yang menghubungkan item *Low-Rated* langsung menuju item alternatif yang spesifik, model *Baseline Two-Stage* secara alami telah menghasilkan distribusi eksposur yang cukup seimbang yaitu **22,63% HEAD : 25,02% MID : 52,34% TAIL**, dengan **Recall@10 = 0.0340**, **NDCG@10 = 0.0494**, dan **Category Coverage@10 = 53,93%**. | |
| ### 1.3. Hasil Evaluasi Controlled Reranking Layer pada `2018_Toys_and_Games` (Hari 3) | |
| Audit *Fairness Guardrails* pada Langkah 6.1 mengonfirmasi **0 pelanggaran filter histori (`Seen-Item Violations = 0`)** dan **100% ketersediaan opsi kandidat HEAD maupun TAIL (1.025/1.025 pengguna)**. | |
| #### Gambar 1. Komparasi Hasil Eksperimen Antar-Skenario pada `2018_Toys_and_Games` | |
|  | |
| #### Gambar 2. Sensitivitas Grid Search $(\alpha, \beta)$ Skenario 3 pada `2018_Toys_and_Games` | |
|  | |
| #### Temuan Kunci pada `2018_Toys_and_Games`: | |
| 1. **Keunggulan Kualitas Posisi pada Skenario 2 (*Top-k Balancing*):** Penempatan 30% kuota *Head* di posisi atas, 40% prediksi personalisasi di tengah, dan 30% *Tail* di akhir berhasil meraih **NDCG@10 tertinggi (0.0497)** sekaligus menaikkan **Long-Tail Exposure@10 menjadi 56,10%** tanpa menurunkan *Category Coverage* (53,93%). | |
| 2. **Fenomena *Over-Penalization* pada Skenario 3 Deterministik:** Karena daftar kandidat *Baseline* pada *Toys_and_Games* sejak awal sudah memiliki proporsi *Head* yang rendah (22,63%), pemberian penalti deterministik $-\beta \cdot Pop(b)$ secara kaku mendorong daftar rekomendasi terlalu ekstrem ke arah item *Tail* (mencapai **88,12%** hingga **95,05%**). Akibatnya, item *Head* dan *Mid* yang relevan tereliminasi dan cakupan kategori menyempit dari 53,93% menjadi 43,59%. | |
| 3. **Kemenangan Mutlak Skenario 4 (*Full Controlled Reranking / Roulette Wheel*):** Mekanisme probabilistik berbobot terbukti menjadi solusi paling unggul pada dataset ini. Skenario 4 berhasil **meningkatkan akurasi tebakan masking melampaui Baseline** (**Recall@10 naik menjadi rata-rata 0.0360**, mencapai puncak **0.0381** pada *Trial 2*, dibandingkan *Baseline* 0.0340) sekaligus **melonjakkan Category Coverage@10 sebesar +14,83%** (dari 53,93% menjadi **68,76%**) dan menjaga **Long-Tail Exposure@10 di 55,47%**. | |
| --- | |
| ## 2. Analisis Eksperimen 2: Dataset `2018_Movies_and_TV` | |
| ### 2.1. Karakteristik Data Skala Masif, Extreme Sparsity, dan Efek Blockbuster (Hari 1) | |
| * **Penyaringan Skala Raksasa:** Dari **8.765.568** baris interaksi mentah dan **203.766** metadata produk, tahap pembersihan dan *Iterative K-Core Filtering* menghasilkan **24.786 pengguna aktif ($|U|$)**, **37.280 produk ($|I|$)**, dan **1.109.238 interaksi bersih** (rata-rata $44,75$ transaksi per pengguna). Ukuran ruang matriks interaksi mencapai **924.022.080 sel (~924 juta sel)**. | |
| * **Kepadatan Graf & Kategori Asli:** Terdapat **422 kategori unik** (membentuk **8.709 unit kategori/ceruk evaluasi** pada tahap evaluasi akhir) serta jaringan relasi asli yang sangat masif: **358.819 sisi `also_buy`** dan **173.447 sisi `also_view`** valid. | |
| * **Protokol Masking & Extreme Sparsity:** Pemisahan 80:20 mengisolasi **896.430 interaksi latih ($80,81\%$)** dan menyembunyikan **212.808 interaksi uji/masking ($19,19\%$)** dengan **Zero Leakage**. Matriks latih memiliki tingkat kekosongan yang sangat ekstrem yaitu **Sparsity = 99,9030%**. | |
| * **Bukti Empiris Dominasi Blockbuster (Popularity Bias Berat):** Pembagian Pareto 20:30:50 membagi katalog menjadi **7.456 HEAD : 11.184 MID : 18.640 TAIL**. Analisis distribusi pada *Train Set* membuktikan ketimpangan yang sangat tajam: **20% produk HEAD memonopoli 66,89% dari seluruh interaksi pengguna** (dengan frekuensi mencapai $1.120$ interaksi per produk). | |
|  | |
| ### 2.2. Skalabilitas Vektorisasi Stage 1–2 & Bias Popularitas pada Baseline (Hari 2) | |
| * **Efisiensi Vektorisasi Stage 1 (UBCF):** Dengan rata-rata ambang kepuasan pengguna $\bar{r}_u = \mathbf{4,1156}$, algoritma *Top-K Pruned Sparse Matrix Multiplication* (`scipy.sparse`) berhasil menyelesaikan perhitungan matriks kemiripan $24.786 \times 24.786$ (**4.944.639 pasangan kemiripan tersimpan** dari 69,95 juta pasangan aktif) dan menghasilkan **923.125.650 prediksi valid** hanya dalam waktu **~21 detik** dengan **Seen-Item Leakage = 0**. Rata-rata pengguna memiliki **12,88 item $L_u$** dan **23,60 item $H_u$** (2.591 pengguna ditangani oleh *Uniform Fallback*). | |
| * **Stage 2 (Co-occurrence Graph):** Graf berarah memuat **37.280 simpul** dan **626.500 sisi aktif** (`buy` = 358.819, `view` = 173.447, `reverse` = 252.130). Perakitan 50 kandidat *bundle* ($B=3$) untuk seluruh 24.786 pengguna diselesaikan menggunakan *Sparse Category Vectors* dalam waktu ~5 menit. | |
| * **Bukti Popularity Bias pada Skenario 1 (Baseline Top-10):** Tanpa intervensi *reranking*, rekomendasi *Baseline* terjebak dalam bias popularitas yang parah: **73,85% slot rekomendasi dikuasai oleh item HEAD**, **18,00% MID**, dan hanya menyisakan **8,16% untuk item TAIL**, dengan capaian **Recall@10 = 0.0466**, **NDCG@10 = 0.0703**, dan **Category Coverage@10 = 69,40%**. | |
| ### 2.3. Hasil Evaluasi Controlled Reranking Layer pada `2018_Movies_and_TV` (Hari 3) | |
| Audit *Fairness Guardrails* memastikan **0 pelanggaran histori (`Seen-Item Violations = 0`)** dan **100% ketersediaan kandidat HEAD serta TAIL untuk seluruh 24.786 pengguna**. | |
| #### Gambar 3. Komparasi Hasil Eksperimen Antar-Skenario pada `2018_Movies_and_TV` | |
|  | |
| #### Gambar 4. Sensitivitas Grid Search $(\alpha, \beta)$ Skenario 3 pada `2018_Movies_and_TV` | |
|  | |
| #### Temuan Kunci pada `2018_Movies_and_TV`: | |
| 1. **Efektivitas Skenario 2 (*Top-k Balancing*) dalam Menekan Monopoli Head:** Pembagian kuota 30:40:30 berhasil **meningkatkan Long-Tail Exposure@10 hampir 2,5 kali lipat** (dari 8,16% menjadi **20,24%**) dan menaikkan **Category Coverage@10 sebesar +4,66%** (menjadi **74,06%**), sembari mempertahankan **97,85% kemampuan Recall@10 Baseline** (0.0456 vs 0.0466). | |
| 2. **Peningkatan NDCG@10 & Keseimbangan Ideal pada Skenario 3 (*Popularity-Aware*):** | |
| * Pada bobot penalti ringan $(\alpha=0.9, \beta=0.1)$, pengurangan skor terhadap film *blockbuster* yang terlalu generik terbukti menggeser item *Mid/Tail* yang lebih sesuai dengan konteks pengguna ke peringkat atas, sehingga **NDCG@10 meningkat melampaui Baseline (0.0712 vs 0.0703)** sembari **melipatgandakan Long-Tail Exposure@10 menjadi 16,85%**. | |
| * Pada titik optimal $(\alpha=0.8, \beta=0.2)$, sistem mencapai keseimbangan proporsi katalog yang sangat ideal yaitu **35,54% HEAD : 31,95% MID : 32,51% TAIL** (**Long-Tail Exposure naik 4x lipat** dan **Category Coverage naik +8,32% menjadi 77,72%**). | |
| 3. **Rekor Cakupan Kategori Tertinggi pada Skenario 4 (*Roulette Wheel*):** Pendekatan sampling probabilistik Skenario 4 mencatatkan **Category Coverage@10 tertinggi di antara seluruh metode yaitu 81,02%** (naik **+11,62%** dari *Baseline*), meningkatkan **Long-Tail Exposure@10 lebih dari 3,3x lipat (27,57%)**, serta menunjukkan stabilitas antar-*trial* yang sangat kokoh (standar deviasi Recall dan NDCG hanya $\pm 0.0002$). | |
| --- | |
| ## 3. Analisis Komparatif Karakteristik Kedua Dataset (`2018_Toys_and_Games` vs. `2018_Movies_and_TV`) | |
| Pengujian lintas domain pada dua dataset dengan skala dan struktur distribusi yang berbeda memberikan pembuktian ilmiah mengenai bagaimana masing-masing mekanisme di dalam *Controlled Reranking Layer* beradaptasi terhadap karakteristik intrinsik data: | |
| ### Tabel 1. Matriks Komparatif Karakteristik & Perilaku Model Lintas Dataset | |
| | Dimensi Perbandingan | Dataset 1: `2018_Toys_and_Games` | Dataset 2: `2018_Movies_and_TV` | Implikasi & Analisis Ilmiah | | |
| | :--- | :--- | :--- | :--- | | |
| | **1. Skala Katalog & Pengguna** | **Menengah:** $1.025$ pengguna $\times 3.399$ produk ($48.318$ interaksi; $\sim 3,48$ juta sel matriks) | **Masif:** $24.786$ pengguna $\times 37.280$ produk ($1.109.238$ interaksi; $\sim 924$ juta sel matriks) | Membuktikan skalabilitas komputasi arsitektur *Vectorized Two-Stage + Reranking* dari jutaan hingga hampir 1 miliar sel matriks. | | |
| | **2. Tingkat Sparsity & Konsentrasi Popularitas Awal** | **Sparsity 98,88%** \| 20% produk HEAD menguasai **33,70%** interaksi (*Moderately Skewed*). | **Sparsity 99,90%** \| 20% produk HEAD memonopoli **66,89%** interaksi (*Heavily Skewed / Blockbuster Effect*). | Industri film/TV memiliki konsentrasi *popularity bias* dua kali lipat lebih tajam dibanding mainan/permainan yang lebih terfragmentasi berdasarkan usia/hobi. | | |
| | **3. Struktur Graf & Ruang Kategori** | **27.850 sisi berarah** \| 287 kategori unik (3.434 ceruk evaluasi). | **626.500 sisi berarah** \| 422 kategori unik (8.709 ceruk evaluasi). | Keduanya memiliki graf asli yang padat, namun pada `Movies_and_TV` simpul film populer menjadi *hub* raksasa yang menarik jalur pencarian graf ke arah item *Head*. | | |
| | **4. Perilaku Model Baseline (Skenario 1)** | Distribusi awal sudah cukup merata (**22,63% HEAD : 25,02% MID : 52,34% TAIL**); Recall@10 = **0.0340**, Cov@10 = **53,93%**. | Mengalami *Popularity Bias* ekstrem (**73,85% HEAD : 18,00% MID : 8,16% TAIL**); Recall@10 = **0.0466**, Cov@10 = **69,40%**. | Ketika *Train Set* didominasi 66,89% oleh item *Head* (`Movies_and_TV`), UBCF dan *Co-occurrence Graph* secara alami memperkuat bias tersebut menjadi 73,85% di rekomendasi akhir. | | |
| | **5. Efektivitas Skenario 2 (*Top-k Balancing* 30:40:30)** | Unggul dalam **memaksimalkan NDCG@10 (0.0497)** dan menaikkan Tail ke **56,10%**. | Sangat efektif sebagai **penyeimbang cepat (2,6 detik)**: menaikkan Tail **2,5x lipat (20,24%)** dan Coverage **+4,66%** dengan *loss* akurasi hampir nol. | Skema kuota kaku 30:40:30 berfungsi sebagai *safety net* yang menjamin batas minimum eksposur *Tail* sekaligus menjaga ketepatan posisi puncak lewat 40% slot prediksi. | | |
| | **6. Perilaku Skenario 3 (*Popularity-Aware* $\alpha, \beta$)** | Memicu *over-penalization* menuju Tail ekstrem (hingga 95,05%) karena *Baseline* sudah rendah *Head*. | **Sangat Efektif & Adaptif:** Pada $(0.9, 0.1)$ meningkatkan **NDCG@10 di atas Baseline (0.0712)**; pada $(0.8, 0.2)$ menciptakan proporsi sempurna **35,5% : 32,0% : 32,5%**. | Penalti linear $-\beta \cdot Pop(b)$ sangat krusial pada dataset berbias berat (`Movies_and_TV`) untuk meruntuhkan monopoli item *Head*, tetapi harus diatur ringan ($\beta \le 0.1$) pada dataset yang sudah seimbang. | | |
| | **7. Perilaku Skenario 4 (*Roulette Wheel Selection*)** | **Arsitektur Terbaik Mutlak:** Meningkatkan **Recall@10 di atas Baseline (0.0360 vs 0.0340)** dan melonjakkan **Coverage +14,83% (ke 68,76%)**. | Meraih **Category Coverage@10 Tertinggi (81,02%, naik +11,62%)** dan meningkatkan Tail **3,4x lipat (27,57%)** dengan variansi sangat stabil ($\pm 0.0002$). | Eksplorasi stokastik terbobot (*Roulette Wheel*) secara konsisten menjadi juara dalam memperluas cakupan kategori (*Category Coverage*) di kedua dataset tanpa terjebak pada penyempitan deterministik. | | |
| ### Kesimpulan Umum Penelitian | |
| 1. **Validasi Arsitektur Heuristik Dua Tahap:** Kombinasi *Modified User-Based CF* (dengan *Seen-Item Masking* $-\infty$) dan *Co-occurrence Graph* (`also_buy`/`also_view`) terbukti mampu merakit kandidat *bundle* yang relevan secara efisien dan stabil hingga skala hampir 1 miliar sel matriks tanpa membutuhkan *deep learning*. | |
| 2. **Panduan Pemilihan Strategi Reranking Berdasarkan Karakteristik Katalog:** | |
| * Untuk katalog dengan **dominasi popularitas ekstrem (*Blockbuster-Heavy* seperti `Movies_and_TV`)**, **Skenario 3 (*Popularity-Aware Reranking* pada $\alpha=0.9, \beta=0.1$ atau $\alpha=0.8, \beta=0.2$)** dan **Skenario 2 (*Top-k Balancing*)** adalah pilihan terbaik untuk merombak monopoli item *Head* (dari 73,85% menjadi ~35,54%), meningkatkan eksposur *long-tail* hingga 4 kali lipat, serta mendongkrak kualitas urutan (*NDCG@10*). | |
| * Untuk katalog dengan **preferensi ceruk yang tersebar (*Niche-Rich* seperti `Toys_and_Games`)** atau ketika tujuan utama sistem adalah **memaksimalkan keberagaman lintas kategori (*Category Coverage*)**, **Skenario 4 (*Full Controlled Reranking dengan Roulette Wheel Selection*)** merupakan metode paling superior karena mampu memperluas cakupan kategori sebesar **+11,62% hingga +14,83%** sekaligus meningkatkan peluang ditemukannya kembali item keranjang pengguna yang tersembunyi (*Recall@10* melampaui *Baseline*). | |
| --- |