Spaces:
Paused
Paused
| """ | |
| services/preprocessing_id.py | |
| Preprocessing Bahasa Indonesia yang komprehensif untuk media sosial. | |
| Mencakup: | |
| 1. Normalisasi slang & singkatan (~200 kata) | |
| 2. Handling emoji → sentimen kata | |
| 3. Code-switching ID-EN | |
| 4. Deteksi & normalisasi kata berulang | |
| 5. Stopwords gabungan ID+EN | |
| """ | |
| import re | |
| from typing import Optional | |
| # ───────────────────────────────────────────── | |
| # 1. STOPWORDS GABUNGAN ID + EN | |
| # ───────────────────────────────────────────── | |
| STOPWORDS = { | |
| # Bahasa Indonesia - fungsi | |
| 'yang','dan','di','ke','dari','ini','itu','dengan','untuk','adalah','ada', | |
| 'pada','juga','tidak','bisa','sudah','saya','kamu','kami','mereka','kita', | |
| 'nya','pun','aja','ya','yah','mau','jadi','buat','kalau','banget','sangat', | |
| 'lebih','nih','sih','dong','lah','lagi','terus','sama','atau','karena', | |
| 'oleh','akan','dapat','harus','boleh','perlu','agar','supaya','namun', | |
| 'tetapi','tapi','sedang','sedangkan','setelah','sebelum','ketika','saat', | |
| 'antara','dalam','luar','atas','bawah','depan','belakang','kiri','kanan', | |
| 'sekitar','tentang','terhadap','selama','karena','sebab','hingga','sampai', | |
| 'bahwa','agar','jika','bila','apabila','maka','sehingga','walaupun','meski', | |
| 'justru','malah','bahkan','hanya','saja','paling','makin','semakin', | |
| 'begitu','seperti','misalnya','contoh','yaitu','yakni','antara','lain', | |
| 'hal','cara','jenis','macam','bagian','sistem','proses', | |
| # Bahasa gaul/informal | |
| 'tuh','tuu','gitu','gini','gituu','ginii','doang','woi','hoi','hai','hey', | |
| 'nah','neh','deh','kok','sih','kan','kaan','si','bu','pak','mas','mbak', | |
| # Bahasa Inggris - fungsi | |
| 'the','is','in','of','to','a','an','and','it','for','that','this', | |
| 'was','are','be','has','have','had','do','does','did','will','would', | |
| 'could','should','may','might','shall','must','can','need','dare', | |
| 'with','at','by','from','up','about','into','through','during', | |
| 'before','after','above','below','between','out','off','over','under', | |
| 'again','further','then','once','here','there','when','where','why', | |
| 'how','all','both','each','few','more','most','other','some','such', | |
| 'no','not','only','own','same','so','than','too','very','just','but', | |
| 'if','or','because','as','until','while','although','though','since', | |
| 'i','you','he','she','we','they','me','him','her','us','them', | |
| 'my','your','his','its','our','their', | |
| } | |
| # ───────────────────────────────────────────── | |
| # 2. SLANG & SINGKATAN (~200 entri) | |
| # ───────────────────────────────────────────── | |
| SLANG_MAP = { | |
| # Negasi | |
| 'gak':'tidak','ga':'tidak','nggak':'tidak','ngga':'tidak','enggak':'tidak', | |
| 'gk':'tidak','ndk':'tidak','ndak':'tidak','kagak':'tidak','kaga':'tidak', | |
| 'bkn':'bukan','bukan':'bukan', | |
| # Kata ganti | |
| 'gue':'saya','gw':'saya','w':'saya','aq':'saya','ak':'saya', | |
| 'lo':'kamu','lu':'kamu','elo':'kamu','elu':'kamu','loe':'kamu', | |
| 'dy':'dia','doi':'dia','dya':'dia', | |
| 'kt':'kita','qta':'kita','qt':'kita', | |
| 'mrk':'mereka','mrek':'mereka', | |
| # Konjungsi & partikel | |
| 'tp':'tapi','tpi':'tapi','ttpi':'tetapi', | |
| 'jg':'juga','jga':'juga','jg':'juga', | |
| 'krn':'karena','karna':'karena','kren':'karena', | |
| 'dgn':'dengan','dg':'dengan','d':'dengan', | |
| 'yg':'yang','y':'yang', | |
| 'utk':'untuk','buat':'untuk','bt':'buat', | |
| 'dr':'dari','dri':'dari', | |
| 'sm':'sama','ama':'sama','bareng':'bersama', | |
| 'kl':'kalau','kalo':'kalau','klw':'kalau', | |
| 'spy':'supaya','biar':'supaya', | |
| 'sdgkan':'sedangkan','pdhl':'padahal','pdhal':'padahal', | |
| 'mk':'maka','jd':'jadi','jdi':'jadi', | |
| # Aspek waktu | |
| 'udah':'sudah','udh':'sudah','dah':'sudah','sdh':'sudah','uda':'sudah', | |
| 'blm':'belum','blum':'belum','belom':'belum', | |
| 'msh':'masih','masi':'masih','msih':'masih', | |
| 'lg':'lagi','lgi':'lagi','lg':'lagi', | |
| 'skrg':'sekarang','skrng':'sekarang','skg':'sekarang', | |
| 'stlh':'setelah','sblm':'sebelum', | |
| 'trs':'terus','trus':'terus','teros':'terus', | |
| # Kemampuan & keharusan | |
| 'bs':'bisa','bsa':'bisa','biz':'bisa', | |
| 'hrs':'harus','hrus':'harus', | |
| 'prlu':'perlu','prl':'perlu', | |
| 'mau':'ingin','mw':'ingin','mo':'ingin', | |
| # Kuantitas & kualitas | |
| 'bgt':'banget','bngt':'banget','bngt':'banget', | |
| 'sgt':'sangat','bgt':'banget', | |
| 'krg':'kurang','krang':'kurang', | |
| 'lbh':'lebih','lbih':'lebih', | |
| 'plg':'paling','paling':'paling', | |
| 'byk':'banyak','bnyk':'banyak', | |
| 'dkt':'dekat','dkt':'dekat', | |
| 'cpt':'cepat','cpet':'cepat', | |
| 'lmbt':'lambat','lmbat':'lambat', | |
| # Afirmatif & konfirmasi | |
| 'iya':'ya','iyes':'ya','iyess':'ya', | |
| 'ok':'oke','okay':'oke','oke':'oke','okey':'oke', | |
| 'sip':'bagus','siip':'bagus', | |
| 'bnr':'benar','bner':'benar','bnar':'benar', | |
| 'emg':'memang','emang':'memang','mmg':'memang','memg':'memang', | |
| 'kyk':'kayak','kek':'seperti','kyak':'kayak', | |
| # Ekspresi umum medsos | |
| 'wkwk':'haha','wkwkwk':'haha','wkwkwkwk':'haha', | |
| 'hehe':'haha','hihi':'haha','huhu':'sedih','hiks':'sedih', | |
| 'lol':'tertawa','lmao':'tertawa','rofl':'tertawa', | |
| 'omg':'terkejut','omgg':'terkejut', | |
| 'btw':'ngomong-ngomong','fyi':'informasi', | |
| 'asap':'segera','imo':'menurutku','imho':'menurutku', | |
| 'tbh':'jujurnya','ngl':'jujur', | |
| # Informasi & pertanyaan | |
| 'info':'informasi','inpo':'informasi', | |
| 'kmn':'kemana','kmana':'kemana', | |
| 'dmn':'dimana','dmana':'dimana', | |
| 'gmn':'bagaimana','gmana':'bagaimana','bgmn':'bagaimana', | |
| 'knp':'kenapa','ngp':'kenapa','napa':'kenapa', | |
| 'brp':'berapa','brapa':'berapa', | |
| 'ttg':'tentang','mnrt':'menurut', | |
| 'mksud':'maksud','mksd':'maksud', | |
| # Platform-spesifik | |
| 'fyp':'for you page','foryou':'untuk kamu', | |
| 'collab':'kolaborasi','ft':'bersama', | |
| 'dm':'pesan langsung','pm':'pesan pribadi', | |
| 'fr':'sungguh','frfr':'sungguh-sungguh', | |
| 'ngl':'jujur','idk':'tidak tahu','idk':'tidak tahu', | |
| 'ootd':'outfit hari ini','grwm':'ikut siap-siapku', | |
| # Sapaan & gelar | |
| 'kk':'kakak','kak':'kakak','bro':'saudara','sis':'saudari', | |
| 'bang':'abang','bg':'abang','abg':'abang', | |
| 'om':'paman','tante':'bibi','bund':'bunda', | |
| # Kata-kata umum yang sering disingkat | |
| 'prt':'pemerintah','pmrth':'pemerintah', | |
| 'jkt':'jakarta','sby':'surabaya','bdg':'bandung', | |
| 'indo':'indonesia','id':'indonesia', | |
| 'pns':'pegawai negeri','asn':'aparatur sipil negara', | |
| 'umkm':'usaha mikro kecil menengah', | |
| 'pdp':'pendapatan','gdp':'produk domestik bruto', | |
| 'bbm':'bahan bakar minyak','lpg':'gas elpiji', | |
| 'rs':'rumah sakit','puskesmas':'pusat kesehatan masyarakat', | |
| 'sd':'sekolah dasar','smp':'sekolah menengah pertama', | |
| 'sma':'sekolah menengah atas','pt':'perguruan tinggi', | |
| } | |
| # ───────────────────────────────────────────── | |
| # 3. EMOJI → SENTIMEN KATA | |
| # ───────────────────────────────────────────── | |
| EMOJI_MAP = { | |
| # Positif | |
| '😀':'senang','😃':'senang','😄':'senang','😁':'senang', | |
| '😊':'senang','🥰':'cinta','😍':'cinta','❤':'cinta', | |
| '❤️':'cinta','💕':'sayang','💖':'sayang','💗':'sayang', | |
| '👍':'bagus','👌':'oke','✅':'benar','💯':'sempurna', | |
| '🔥':'keren','⭐':'bagus','🌟':'luar biasa','✨':'indah', | |
| '🎉':'selamat','🎊':'perayaan','🏆':'menang','🥇':'juara', | |
| '😂':'lucu','🤣':'lucu','😆':'lucu', | |
| '🙏':'terima kasih','👏':'tepuk tangan','💪':'kuat','🚀':'maju', | |
| '😎':'keren','🤩':'kagum','😇':'baik','🤗':'pelukan', | |
| # Negatif | |
| '😢':'sedih','😭':'menangis','😔':'kecewa','😞':'kecewa', | |
| '😡':'marah','😠':'marah','🤬':'sangat marah','💢':'marah', | |
| '👎':'jelek','❌':'salah','🚫':'dilarang','⛔':'berhenti', | |
| '😱':'terkejut','😨':'takut','😰':'khawatir','😟':'khawatir', | |
| '🤮':'jijik','🤢':'mual','💔':'patah hati','😤':'kesal', | |
| '😣':'susah','😖':'frustrasi','😩':'lelah','😫':'capek', | |
| # Netral/Informasi | |
| '🤔':'berpikir','🧐':'mengamati','💭':'berpikir', | |
| '📢':'pengumuman','📣':'pengumuman','ℹ':'informasi', | |
| '⚠':'peringatan','❓':'pertanyaan','❗':'penting', | |
| '📊':'data','📈':'naik','📉':'turun','💰':'uang', | |
| '🏥':'rumah sakit','🏫':'sekolah','🏛':'pemerintah', | |
| } | |
| # ───────────────────────────────────────────── | |
| # 4. PREPROCESSING PIPELINE | |
| # ───────────────────────────────────────────── | |
| def normalize_repeated_chars(text: str) -> str: | |
| """ | |
| 'baguuuus' → 'bagus', 'hahahaha' → 'haha' | |
| Pertahankan max 2 karakter berulang. | |
| """ | |
| return re.sub(r'(.)\1{2,}', r'\1\1', text) | |
| def extract_emoji_sentiment(text: str) -> tuple[str, list[str]]: | |
| """ | |
| Ekstrak emoji dan ganti dengan kata sentimen. | |
| Return: (text_tanpa_emoji, list_kata_sentimen) | |
| """ | |
| sentiment_words = [] | |
| result = text | |
| for emoji, word in EMOJI_MAP.items(): | |
| if emoji in result: | |
| count = result.count(emoji) | |
| sentiment_words.extend([word] * min(count, 2)) | |
| result = result.replace(emoji, f' {word} ') | |
| # Hapus emoji yang tidak ada di map menggunakan regex | |
| result = re.sub( | |
| r'[\U00010000-\U0010ffff' | |
| r'\U0001F600-\U0001F64F' | |
| r'\U0001F300-\U0001F5FF' | |
| r'\U0001F680-\U0001F6FF' | |
| r'\U0001F1E0-\U0001F1FF' | |
| r'\u2600-\u26FF\u2700-\u27BF]', | |
| ' ', result | |
| ) | |
| return result, sentiment_words | |
| def normalize_slang(tokens: list[str]) -> list[str]: | |
| """Normalisasi slang per token.""" | |
| return [SLANG_MAP.get(t, t) for t in tokens] | |
| def clean_text_deep(text: str, keep_emoji_words: bool = True) -> str: | |
| """ | |
| Full preprocessing pipeline: | |
| 1. Lowercase | |
| 2. Hapus URL, mention, hashtag (simpan kata hashtag) | |
| 3. Ekstrak emoji → kata sentimen | |
| 4. Normalisasi karakter berulang | |
| 5. Normalisasi slang | |
| 6. Bersihkan karakter non-alfanumerik | |
| 7. Filter stopwords & token pendek | |
| """ | |
| if not text or not isinstance(text, str): | |
| return "" | |
| # 1. Lowercase | |
| text = text.lower().strip() | |
| # 2. Hapus URL | |
| text = re.sub(r'https?://\S+|www\.\S+', '', text) | |
| # 3. Hapus mention (@user) | |
| text = re.sub(r'@\w+', '', text) | |
| # 4. Hashtag → simpan kata | |
| text = re.sub(r'#(\w+)', r' \1 ', text) | |
| # 5. Emoji → kata sentimen | |
| text, emoji_words = extract_emoji_sentiment(text) | |
| # 6. Normalisasi karakter berulang | |
| text = normalize_repeated_chars(text) | |
| # 7. Hapus karakter non-alfanumerik (simpan spasi) | |
| text = re.sub(r'[^a-z0-9\s]', ' ', text) | |
| # 8. Tokenisasi | |
| tokens = text.split() | |
| # 9. Normalisasi slang | |
| tokens = normalize_slang(tokens) | |
| # 10. Filter: hapus stopwords dan token terlalu pendek | |
| tokens = [t for t in tokens if len(t) > 2 and t not in STOPWORDS] | |
| # 11. Tambahkan kata dari emoji | |
| if keep_emoji_words and emoji_words: | |
| tokens.extend(emoji_words) | |
| return ' '.join(tokens) | |
| def is_valid(text: str, min_words: int = 3) -> bool: | |
| """Cek apakah teks valid untuk dianalisis.""" | |
| if not text or not isinstance(text, str): | |
| return False | |
| cleaned = clean_text_deep(text) | |
| return len(cleaned.split()) >= min_words | |
| def clean_text(text: str) -> str: | |
| """ | |
| Alias untuk kompatibilitas dengan kode lama. | |
| Memanggil clean_text_deep. | |
| """ | |
| return clean_text_deep(text) | |
| def batch_clean(texts: list[str]) -> list[str]: | |
| """Batch preprocessing untuk list teks.""" | |
| return [clean_text_deep(t) for t in texts] | |
| def get_text_stats(text: str) -> dict: | |
| """ | |
| Statistik linguistik untuk satu teks. | |
| Berguna untuk feature engineering. | |
| """ | |
| original_tokens = text.lower().split() | |
| cleaned = clean_text_deep(text) | |
| cleaned_tokens = cleaned.split() | |
| # Deteksi code-switching (campuran ID-EN) | |
| en_words = {'the','is','in','of','a','an','and','it','for','that', | |
| 'this','good','bad','great','nice','love','hate','really', | |
| 'very','just','like','get','can','go','make','know','think', | |
| 'want','need','people','time','work','life','day','way'} | |
| en_count = sum(1 for t in original_tokens if t in en_words) | |
| cs_ratio = en_count / max(len(original_tokens), 1) | |
| # Deteksi emoji | |
| emoji_count = sum(1 for c in text if c in EMOJI_MAP) | |
| # Deteksi pengulangan kata | |
| repeat_count = len(re.findall(r'(.)\1{2,}', text.lower())) | |
| return { | |
| 'original_len': len(original_tokens), | |
| 'cleaned_len': len(cleaned_tokens), | |
| 'emoji_count': emoji_count, | |
| 'cs_ratio': round(cs_ratio, 3), | |
| 'repeat_count': repeat_count, | |
| 'is_codeswitched': cs_ratio > 0.2, | |
| } |