Upload pusula_perturb.py with huggingface_hub

pusula_perturb.py

@@ -0,0 +1,150 @@
+"""
+pusula_perturb.py — Turkce sorgular icin kontrollu, tekrarlanabilir bozulmalar.
+
+Her bozulma: f(text, rng, **params) -> text
+Rastgelelik sorgu kimligi + bozulma adindan turetilir: calisma sirasi sonucu degistirmez.
+"""
+import hashlib
+import re
+
+import numpy as np
+
+# ═══ Turkce harf yardimcilari (uzunluk koruyan) ═══
+ASCII_MAP = str.maketrans({
+    "ç": "c", "Ç": "C", "ğ": "g", "Ğ": "G", "ı": "i", "İ": "I",
+    "ö": "o", "Ö": "O", "ş": "s", "Ş": "S", "ü": "u", "Ü": "U",
+    "â": "a", "Â": "A", "î": "i", "Î": "I", "û": "u", "Û": "U",
+})
+DIACRITICS = set("çÇğĞıİöÖşŞüÜâÂîÎûÛ")
+
+
+def tr_lower(s):
+    return s.replace("I", "ı").replace("İ", "i").lower()
+
+
+def tr_upper(s):
+    return s.replace("i", "İ").replace("ı", "I").upper()
+
+
+# ═══ Turkce Q klavye komsuluklari (yazim hatasi icin) ═══
+_ROWS = ["qwertyuıopğü", "asdfghjklşi", "zxcvbnmöç"]
+KEY_NEIGHBORS = {}
+for r, row in enumerate(_ROWS):
+    for c, ch in enumerate(row):
+        nb = set()
+        for dr in (-1, 0, 1):
+            rr = r + dr
+            if 0 <= rr < len(_ROWS):
+                for dc in (-1, 0, 1):
+                    cc = c + dc
+                    if (dr or dc) and 0 <= cc < len(_ROWS[rr]):
+                        nb.add(_ROWS[rr][cc])
+        KEY_NEIGHBORS[ch] = sorted(nb)
+
+
+def make_rng(query_id, perturbation, seed=0):
+    h = hashlib.sha256(f"{seed}|{perturbation}|{query_id}".encode()).digest()
+    return np.random.default_rng(int.from_bytes(h[:8], "little"))
+
+
+# ═══ Bozulmalar ═══
+def ascii_full(text, rng=None):
+    """Tum Turkce karakterler ASCII karsiligina (Ingilizce klavye)."""
+    return text.translate(ASCII_MAP)
+
+
+def ascii_partial(text, rng, p=0.5):
+    """Her Turkce karakter p olasilikla ASCII'ye (karisik yazim)."""
+    return "".join(ch.translate(ASCII_MAP) if ch in DIACRITICS and rng.random() < p else ch for ch in text)
+
+
+def upper(text, rng=None):
+    """Turkce klavyeyle BUYUK HARF."""
+    return tr_upper(text)
+
+
+def _typo_word(word, rng):
+    if len(word) < 4:
+        return word
+    i = int(rng.integers(1, len(word)))          # ilk harfe dokunma
+    op = rng.choice(["sub", "del", "swap", "dup"])
+    ch = word[i]
+    if op == "sub":
+        nbs = KEY_NEIGHBORS.get(tr_lower(ch))
+        if not nbs:
+            return word
+        rep = rng.choice(nbs)
+        rep = tr_upper(rep) if ch != tr_lower(ch) else rep
+        return word[:i] + rep + word[i + 1:]
+    if op == "del":
+        return word[:i] + word[i + 1:]
+    if op == "swap" and i < len(word) - 1:
+        return word[:i] + word[i + 1] + word[i] + word[i + 2:]
+    return word[:i] + ch + word[i:]            # dup (swap son harfteyse de buraya duser)
+
+
+def typo(text, rng, rate=0.2):
+    """Kelime basina rate olasilikla tek bir klavye hatasi (komsu tus, silme, yer degistirme, cift basma)."""
+    return re.sub(r"\w+", lambda m: _typo_word(m.group(0), rng) if rng.random() < rate else m.group(0), text)
+
+
+# Gundelik yazim: -yor + kisi eki birlikte kisalir (kullaniyorum -> kullaniyom, geliyorsun -> geliyosun)
+_YOR_SUFFIX = {"": "", "um": "m", "uz": "z", "sun": "sun", "sunuz": "sunuz", "lar": "lar"}
+
+# (desen, yerine [str veya fonksiyon], aciklama). Her eslesme rate olasilikla uygulanir.
+COLLOQUIAL_RULES = [
+    (r"\bnerede\b", "nerde", "nerede → nerde"),
+    (r"\bneredeyse\b", "nerdeyse", "neredeyse → nerdeyse"),
+    (r"\bbir\b", "bi", "bir → bi"),
+    (r"\bdeğil\b", "diil", "değil → diil"),
+    (r"\bne yapacağım\b", "napcam", "ne yapacağım → napcam"),
+    (r"\bne yapıyorsun\b", "napıyosun", "ne yapıyorsun → napıyosun"),
+    (r"(\w+?[ıiuü])yor(sunuz|sun|um|uz|lar)?\b",
+     lambda m: m.group(1) + "yo" + _YOR_SUFFIX[m.group(2) or ""], "-yor(um) → -yo(m)"),
+    (r"(\w+)acağım\b", r"\1acam", "-acağım → -acam"),
+    (r"(\w+)eceğim\b", r"\1ecem", "-eceğim → -ecem"),
+    (r"(\w+)\s(m[ıiuü](?:s[ıiuü]n|y[ıiuü]m|d[ıiuü]r)?)\b", r"\1\2", "soru eki bitişik (var mı → varmı)"),
+    (r"\b(ben|sen|biz|siz|o|onlar)\s(de|da)\b", r"\1\2", "zamir + de/da bitişik (ben de → bende)"),
+]
+
+
+def _keep_case(original, replaced):
+    """Eslesmenin ilk harfi buyukse sonucun ilk harfini de buyut (Nerede -> Nerde)."""
+    if original[:1] and original[:1] != tr_lower(original[:1]) and replaced:
+        return tr_upper(replaced[0]) + replaced[1:]
+    return replaced
+
+
+def colloquial(text, rng, rate=0.8):
+    out = text
+    for pattern, repl, _ in COLLOQUIAL_RULES:
+        def sub(m, repl=repl):
+            if rng.random() >= rate:
+                return m.group(0)
+            new = repl(m) if callable(repl) else m.expand(repl)
+            return _keep_case(m.group(0), new)
+        out = re.sub(pattern, sub, out, flags=re.IGNORECASE)
+    return out
+
+
+def mobile(text, rng, typo_rate=0.15):
+    """Aceleyle Ingilizce klavyeli telefondan yazilmis sorgu: kucuk harf + gundelik + hata + ASCII.
+    ASCII en SONDA: yazim hatasi Turkce komsu tus (ğ, ş) uretse bile cikti tutarli bicimde ASCII olur."""
+    out = colloquial(tr_lower(text), rng)
+    return ascii_full(typo(out, rng, rate=typo_rate))
+
+
+PERTURBATIONS = {
+    "clean":         (lambda t, rng: t,                     "Temiz (referans)"),
+    "ascii_full":    (lambda t, rng: ascii_full(t),         "Tüm Türkçe karakterler ASCII"),
+    "ascii_partial": (lambda t, rng: ascii_partial(t, rng), "Türkçe karakterlerin yarısı ASCII"),
+    "upper":         (lambda t, rng: upper(t),              "BÜYÜK HARF"),
+    "typo":          (lambda t, rng: typo(t, rng),          "Kelime başına %20 klavye hatası"),
+    "colloquial":    (lambda t, rng: colloquial(t, rng),    "Gündelik yazım (nerde, geliyo, varmı)"),
+    "mobile":        (lambda t, rng: mobile(t, rng),        "Hepsi: küçük harf + gündelik + ASCII + hata"),
+}
+
+
+def perturb(text, query_id, name, seed=0):
+    fn, _ = PERTURBATIONS[name]
+    return fn(text, make_rng(query_id, name, seed))