Paper release v1: benchmark/deployment modes, use_filter, pinned revisions, analysis package, predictions and 8-best lists (no reference transcripts)

.gitattributes

@@ -33,3 +33,6 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
 *.zip filter=lfs diff=lfs merge=lfs -text
 *.zst filter=lfs diff=lfs merge=lfs -text
 *tfevents* filter=lfs diff=lfs merge=lfs -text
+paper_artifacts/nbest/commonvoice_test.jsonl filter=lfs diff=lfs merge=lfs -text
+paper_artifacts/nbest/masc_test_clean.jsonl filter=lfs diff=lfs merge=lfs -text
+paper_artifacts/nbest/masc_test_noisy.jsonl filter=lfs diff=lfs merge=lfs -text

README.md

@@ -66,11 +66,26 @@ Sygma improves the base model in every group. With equal loop protection, Audar
 # pip install "transformers==4.57.6" torch soundfile librosa huggingface_hub sentencepiece
 from sygma_asr import SygmaASR
 
-asr = SygmaASR(device="cuda")                 # downloads the Cohere base model
+asr = SygmaASR(device="cuda")                 # mode="benchmark" (default); downloads the pinned Cohere revision
 print(asr.transcribe(["clip.wav"]))
 ```
 
-`SygmaASR(..., repair=True)` adds a fallback re-decode when all 8 hypotheses are degenerate. It is **not** part of the benchmarked configuration above.
+### Modes
+
+| Mode | Word count for the bonus | All 8 hypotheses degenerate | Six-set average WER |
+|---|---|---|---|
+| `mode="benchmark"` (default) | words after the leaderboard normalization | re-rank all 8 | **23.04** (the paper's numbers) |
+| `mode="deployment"` | words on punctuation-stripped raw text | keep the top beam hypothesis (or repair) | 23.06 |
+
+`SygmaASR(..., mode="deployment", repair=True)` adds a fallback re-decode when all 8 hypotheses are degenerate. It is **not** part of the benchmarked configuration.
+
+### Reproducing the paper
+
+- Base model: `CohereLabs/cohere-transcribe-arabic-07-2026` at revision `c3e911b42149bf7a1e53d5cef9878aee87515a23` (pinned as `BASE_REVISION`); vendored model code in `cohere_asr/`.
+- Environment: transformers 4.57.6; beam 8, length penalty 0, β = 1.0, at most 12 tokens per second + 20; bf16 autocast on GPU.
+- Other pinned revisions used in the paper: `audarai/Audar-ASR-V1-Turbo` (remote code) `371428bea487c7aec82b27dc21f8d4324002e98e`; `Qwen/Qwen3-1.7B-Base` `ea980cb0a6c2ae4b936e82123acc929f1cec04c1`.
+- Two levels of reproduction: the released 8-best lists reproduce every table exactly (analysis reproduction); re-running inference on rebuilt audio can differ slightly with GPU type, batching and precision (end-to-end reproduction).
+- Exact selection rules (given the released 8-best lists they reproduce all per-set WERs): reward only (the paper's primary result, 23.05) `select_hypothesis(hyps, 1.0, "benchmark", use_filter=False)`; Sygma, reward + filter (23.04) `select_hypothesis(hyps, 1.0, "benchmark", use_filter=True)`; Beam-8 top (24.21) `select_hypothesis(hyps, 0.0, "benchmark", use_filter=False)`. `SygmaASR(..., use_filter=False)` decodes audio in the reward-only configuration.
 
 ## Limitations
 

analysis/README.md

@@ -0,0 +1,36 @@
+# Reproducing the paper's tables
+
+The analysis environment is:
+
+- Python 3.12.8
+- jiwer 4.0.0
+- NumPy 1.26.4
+- PyTorch 2.2.2
+- transformers 4.57.6
+- huggingface_hub 0.36.2
+- pyarrow 15.0.2
+
+```bash
+pip install "jiwer==4.0.0" "numpy==1.26.4" "torch==2.2.2" "transformers==4.57.6" "huggingface_hub==0.36.2" \
+            sentencepiece soundfile librosa "pyarrow==15.0.2"
+
+# 1. re-attach reference transcripts from their public sources (leaderboard manifests, dev datasets)
+python analysis/attach_references.py --release paper_artifacts --out art
+
+# 2. all tables, bootstrap intervals (10,000 replicates, seed 0), sensitivity analysis, detector checks
+python analysis/reviewer_analyses.py --art art --out my_results.json
+```
+
+`my_results.json` should equal `analysis/results.json`. We verified this in a newly created environment with the versions above. Run both commands from the repository root: the analysis imports `sygma_asr.py` and `cohere_asr/` from there.
+
+## Configurations
+
+| Paper name | Selection rule |
+|---|---|
+| Beam-8 top | `select_hypothesis(hyps, beta=0.0, mode="benchmark", use_filter=False)` |
+| **Sygma-reward** (primary) | `select_hypothesis(hyps, beta=1.0, mode="benchmark", use_filter=False)` |
+| Sygma-filtered | `select_hypothesis(hyps, beta=1.0, mode="benchmark", use_filter=True)` |
+| LN re-ranking (± filter) | `pick(hyps, lambda h: h["am"] / ntok(h["text"]) ** 2.5, filt)` in `reviewer_analyses.py` (Cohere tokens + EOS) |
+| Neural LM | `pick(hyps, lambda h: h["am"] + 0.01 * h["qwen"] + 1.5 * words(h), True)` |
+
+Words are counted after the leaderboard normalization. Search spaces are given in the paper's appendix. `cpu_timing.py` reproduces the CPU timing, which needs audio clips.

analysis/attach_references.py

@@ -0,0 +1,109 @@
+"""Re-attach reference transcripts to the released predictions, producing the input directory that
+reviewer_analyses.py expects. The release contains no reference text; references come from:
+
+  test sets  the Open Universal Arabic ASR Leaderboard manifests (GitHub, pinned commit)
+  dev sets   the Hugging Face datasets ahmedsamirtarjama/youtube_najdi and
+             HuggingPanda/Saudi_Podcasts_ASR (pinned revisions), by row index: a dev clip named
+             <set>_<i:06d> is row i of the listed files read in sorted path order (finetune/dev_prep.py)
+
+    python paper/analysis/attach_references.py --release RELEASE_DIR --out ART_DIR
+    python paper/analysis/reviewer_analyses.py --art ART_DIR --out results.json
+"""
+
+import argparse
+import json
+import shutil
+import urllib.request
+from pathlib import Path
+
+import pyarrow as pa
+import pyarrow.parquet as pq
+
+LB_REPO = "Natural-Language-Processing-Elm/open_universal_arabic_asr_leaderboard"
+LB_COMMIT = "8fce8595b49057c98bafc2ba41b69c331cb5176e"
+TEST = ["sada_test", "commonvoice_test", "masc_test_clean", "masc_test_noisy", "mgb2_test", "casablanca_test"]
+BASE = {"sada_test": "base_sada_test", "commonvoice_test": "base_cv_commonvoice_test",
+        "masc_test_clean": "base_masc_test_clean", "masc_test_noisy": "base_masc_test_noisy",
+        "mgb2_test": "base_mgb2_test", "casablanca_test": "base_casablanca_test"}
+# (repo, revision, files read by dev_prep.py): the youtube_najdi tuning set was built from the
+# dataset's save_to_disk .arrow files only (its data/ parquet copy holds the same rows in another order)
+DEV = {"dev_youtube_najdi": ("ahmedsamirtarjama/youtube_najdi", "d308545faa94f0f11bfa4d3b180ed661373f4a69", "data-*.arrow"),
+       "dev_saudi_podcasts": ("HuggingPanda/Saudi_Podcasts_ASR", "0f9b9b26ced10e26b4883948c517f70e14b01ab4", "data/*.parquet")}
+TEXT_COLS = ("text", "transcription", "transcript", "sentence")
+
+
+def stem(p):
+    return Path(p).name.rsplit(".wav", 1)[0]
+
+
+def rows(src, pattern):
+    """Same row order as finetune/dev_prep.py: the dataset's files in sorted path order."""
+    for p in sorted(Path(src).glob(pattern)):
+        if p.suffix == ".parquet":
+            pf = pq.ParquetFile(p)
+            for i in range(pf.num_row_groups):
+                yield from pf.read_row_group(i, columns=[c for c in pf.schema_arrow.names if c in TEXT_COLS]).to_pylist()
+        elif p.suffix == ".arrow":
+            with pa.memory_map(str(p)) as f:
+                try:
+                    reader = pa.ipc.open_stream(f)
+                except pa.ArrowInvalid:
+                    reader = pa.ipc.open_file(f)
+                for batch in reader:
+                    yield from batch.select([c for c in batch.schema.names if c in TEXT_COLS]).to_pylist()
+
+
+def load(p):
+    return [json.loads(l) for l in open(p, encoding="utf-8")]
+
+
+def dump(rows_, p):
+    p.parent.mkdir(parents=True, exist_ok=True)
+    with open(p, "w", encoding="utf-8") as f:
+        for r in rows_:
+            f.write(json.dumps(r, ensure_ascii=False) + "\n")
+
+
+def main():
+    ap = argparse.ArgumentParser()
+    ap.add_argument("--release", required=True)
+    ap.add_argument("--out", required=True)
+    a = ap.parse_args()
+    rel, out = Path(a.release), Path(a.out)
+    if out.exists():
+        shutil.rmtree(out)
+
+    for s in TEST:
+        url = f"https://raw.githubusercontent.com/{LB_REPO}/{LB_COMMIT}/datasets/{s}.json"
+        raw = urllib.request.urlopen(url).read().decode("utf-8")
+        (out / "lb").mkdir(parents=True, exist_ok=True)
+        (out / f"lb/{s}.json").write_text(raw, encoding="utf-8")
+        ref = {stem(r["audio_filepath"]): r["text"] for r in map(json.loads, raw.splitlines())}
+        nb = load(rel / f"nbest/{s}.jsonl")
+        for r in nb:
+            r["ref"] = ref[stem(r["file"])]
+        dump(nb, out / f"nbest/{s}.jsonl")
+        for sub, name in [("base", BASE[s]), ("audar", f"audar_{s}"), ("audar", f"audarfix_{s}")]:
+            rs = load(rel / f"{sub}/{name}.jsonl")
+            for r in rs:
+                r["text"] = ref[stem(r["audio_filepath"])]
+            dump(rs, out / f"{sub}/{name}.jsonl")
+        print(f"[test] {s}: {len(nb)} clips", flush=True)
+
+    from huggingface_hub import snapshot_download
+    for s, (repo, rev, pattern) in DEV.items():
+        local = snapshot_download(repo, repo_type="dataset", revision=rev)
+        texts = {}
+        for i, r in enumerate(rows(local, pattern)):
+            col = next((c for c in TEXT_COLS if r.get(c)), None)
+            if col:
+                texts[i] = r[col].strip()
+        nb = load(rel / f"nbest/{s}.jsonl")
+        for r in nb:
+            r["ref"] = texts[int(stem(r["file"]).rsplit("_", 1)[1])]
+        dump(nb, out / f"nbest/{s}.jsonl")
+        print(f"[dev] {s}: {len(nb)} clips", flush=True)
+
+
+if __name__ == "__main__":
+    main()

analysis/build_release.py

@@ -0,0 +1,51 @@
+"""Build the public artifact release from the private analysis inputs: identical files with every
+reference transcript removed (test and development references are re-attached from their public
+sources by attach_references.py).
+
+    python paper/analysis/build_release.py --art ART_DIR --out RELEASE_DIR
+"""
+
+import argparse
+import json
+import shutil
+from pathlib import Path
+
+TEST = ["sada_test", "commonvoice_test", "masc_test_clean", "masc_test_noisy", "mgb2_test", "casablanca_test"]
+DEV = ["dev_youtube_najdi", "dev_saudi_podcasts"]
+BASE = {"sada_test": "base_sada_test", "commonvoice_test": "base_cv_commonvoice_test",
+        "masc_test_clean": "base_masc_test_clean", "masc_test_noisy": "base_masc_test_noisy",
+        "mgb2_test": "base_mgb2_test", "casablanca_test": "base_casablanca_test"}
+
+
+def rewrite(src, dst, drop):
+    dst.parent.mkdir(parents=True, exist_ok=True)
+    with open(src, encoding="utf-8") as f, open(dst, "w", encoding="utf-8") as g:
+        for line in f:
+            r = json.loads(line)
+            for k in drop:
+                r.pop(k, None)
+            g.write(json.dumps(r, ensure_ascii=False) + "\n")
+
+
+def main():
+    ap = argparse.ArgumentParser()
+    ap.add_argument("--art", required=True)
+    ap.add_argument("--out", required=True)
+    a = ap.parse_args()
+    art, out = Path(a.art), Path(a.out)
+    if out.exists():
+        shutil.rmtree(out)
+    for s in TEST + DEV:
+        rewrite(art / f"nbest/{s}.jsonl", out / f"nbest/{s}.jsonl", ["ref"])
+    for s in TEST:
+        rewrite(art / f"base/{BASE[s]}.jsonl", out / f"base/{BASE[s]}.jsonl", ["text"])
+        for tag in ("audar", "audarfix"):
+            rewrite(art / f"audar/{tag}_{s}.jsonl", out / f"audar/{tag}_{s}.jsonl", ["text"])
+    leaks = [p for p in out.rglob("*.jsonl") for l in open(p, encoding="utf-8")
+             if '"ref"' in l or '"text": ' in l.split('"hyps"')[0]]
+    assert not leaks, f"reference text left in {sorted({str(p) for p in leaks})[:3]}"
+    print(f"wrote {sum(1 for _ in out.rglob('*.jsonl'))} files to {out}")
+
+
+if __name__ == "__main__":
+    main()

analysis/cpu_timing.py

@@ -0,0 +1,57 @@
+"""CPU cost of greedy vs. Sygma decoding (fp32, batch 1, one clip at a time) on 30 random Arabic clips.
+
+Timing boundary: wall-clock (time.perf_counter) around one call of the decoder on an in-memory float32
+array, i.e. feature extraction + encoder + search + detokenization; model loading and audio reading
+excluded. Greedy = model.transcribe(...) (the model's own routine); Sygma = SygmaASR.transcribe(...).
+With --mode greedy|sygma only that decoder runs, so the process's peak RSS is attributable to it.
+
+    .venv/bin/python paper/analysis/cpu_timing.py --clips kaggle_ser/output/test --out paper/analysis/cpu_timing.json
+    .venv/bin/python paper/analysis/cpu_timing.py --clips kaggle_ser/output/test --mode greedy --out .../cpu_greedy.json
+"""
+import argparse, json, random, resource, sys, time
+from pathlib import Path
+
+import soundfile as sf
+import torch
+
+ROOT = Path(__file__).resolve().parents[2]
+sys.path.insert(0, str(ROOT / "hf_release" / "Sygma-ASR-Arabic"))
+from sygma_asr import SygmaASR  # noqa: E402
+
+ap = argparse.ArgumentParser()
+ap.add_argument("--clips", required=True)
+ap.add_argument("--n", type=int, default=30)
+ap.add_argument("--out", required=True)
+ap.add_argument("--mode", choices=["both", "greedy", "sygma"], default="both")
+a = ap.parse_args()
+files = sorted(Path(a.clips).glob("*.wav"))
+random.Random(0).shuffle(files)
+files = files[: a.n]
+asr = SygmaASR(device="cpu")
+rows = []
+for f in files:
+    x, sr = sf.read(f, dtype="float32")
+    x = x.mean(axis=1) if x.ndim > 1 else x
+    dur = len(x) / sr
+    tg = ts = float("nan")
+    if a.mode in ("both", "greedy"):
+        t0 = time.perf_counter()
+        with torch.inference_mode():
+            asr.model.transcribe(asr.processor, language="ar", audio_arrays=[x], sample_rates=[sr])
+        tg = time.perf_counter() - t0
+    if a.mode in ("both", "sygma"):
+        t0 = time.perf_counter()
+        asr.transcribe(audio_arrays=[x], sample_rates=[sr])
+        ts = time.perf_counter() - t0
+    rows.append({"file": f.name, "dur": dur, "greedy_s": tg, "sygma_s": ts})
+    print(f"{f.name} {dur:.1f}s greedy {tg:.1f}s sygma {ts:.1f}s", flush=True)
+tot = sum(r["dur"] for r in rows)
+res = {"clips": len(rows), "audio_s": round(tot, 1), "threads": torch.get_num_threads(),
+       "rtf_greedy": round(sum(r["greedy_s"] for r in rows) / tot, 3),
+       "rtf_sygma": round(sum(r["sygma_s"] for r in rows) / tot, 3),
+       "peak_rss_gb": round(resource.getrusage(resource.RUSAGE_SELF).ru_maxrss / 1e9, 2),  # bytes on macOS
+       "rows": rows}
+res["mode"] = a.mode
+res["torch"] = torch.__version__
+Path(a.out).write_text(json.dumps(res, indent=1))
+print({k: v for k, v in res.items() if k != "rows"})

analysis/results.json

@@ -0,0 +1,1786 @@
+{
+ "dev_lennorm": {
+  "nofilter_lambda0.0": 33.71,
+  "nofilter_lambda0.25": 32.5,
+  "nofilter_lambda0.5": 31.52,
+  "nofilter_lambda0.75": 30.95,
+  "nofilter_lambda1.0": 30.54,
+  "nofilter_lambda1.25": 30.34,
+  "nofilter_lambda1.5": 30.33,
+  "nofilter_lambda2.0": 30.13,
+  "nofilter_lambda2.5": 30.06,
+  "nofilter_lambda3.0": 30.08,
+  "nofilter_lambda4.0": 30.2,
+  "nofilter_lambda6.0": 30.39,
+  "filter_lambda0.0": 33.71,
+  "filter_lambda0.25": 32.5,
+  "filter_lambda0.5": 31.52,
+  "filter_lambda0.75": 30.95,
+  "filter_lambda1.0": 30.54,
+  "filter_lambda1.25": 30.34,
+  "filter_lambda1.5": 30.33,
+  "filter_lambda2.0": 30.13,
+  "filter_lambda2.5": 30.06,
+  "filter_lambda3.0": 30.08,
+  "filter_lambda4.0": 30.2,
+  "filter_lambda6.0": 30.39
+ },
+ "dev_lennorm_best": {
+  "nofilter": 2.5,
+  "filter": 2.5
+ },
+ "dev": {
+  "beam_top": 33.71,
+  "beam_filter": 33.71,
+  "beam_bonus": 29.18,
+  "sygma": 29.18
+ },
+ "dev_beta_curve": {
+  "nofilter": {
+   "0.0": 33.71,
+   "0.25": 31.28,
+   "0.5": 29.92,
+   "0.75": 29.37,
+   "1.0": 29.18,
+   "1.25": 29.18,
+   "1.5": 29.19,
+   "2.0": 29.32,
+   "2.5": 29.48,
+   "3.0": 29.51
+  },
+  "filter": {
+   "0.0": 33.71,
+   "0.25": 31.28,
+   "0.5": 29.92,
+   "0.75": 29.37,
+   "1.0": 29.18,
+   "1.25": 29.18,
+   "1.5": 29.19,
+   "2.0": 29.32,
+   "2.5": 29.48,
+   "3.0": 29.51
+  }
+ },
+ "dev_youtube_only_beam_top": 33.57,
+ "test": {
+  "sada_test": {
+   "greedy": {
+    "wer": 36.57,
+    "S": 17082,
+    "D": 8777,
+    "I": 4168,
+    "N": 82107,
+    "degenerate": 110
+   },
+   "beam_top": {
+    "wer": 37.85,
+    "S": 15268,
+    "D": 13228,
+    "I": 2580,
+    "N": 82107,
+    "degenerate": 25
+   },
+   "beam_filter": {
+    "wer": 37.84,
+    "S": 15268,
+    "D": 13216,
+    "I": 2584,
+    "N": 82107,
+    "degenerate": 16
+   },
+   "beam_bonus": {
+    "wer": 33.68,
+    "S": 16708,
+    "D": 7224,
+    "I": 3721,
+    "N": 82107,
+    "degenerate": 32
+   },
+   "sygma": {
+    "wer": 33.6,
+    "S": 16687,
+    "D": 7248,
+    "I": 3653,
+    "N": 82107,
+    "degenerate": 16
+   },
+   "sygma_release": {
+    "wer": 33.58,
+    "S": 16688,
+    "D": 7255,
+    "I": 3626,
+    "N": 82107,
+    "degenerate": 16
+   },
+   "lennorm": {
+    "wer": 34.11,
+    "S": 16989,
+    "D": 7415,
+    "I": 3603,
+    "N": 82107,
+    "degenerate": 61
+   },
+   "lennorm_filter": {
+    "wer": 33.95,
+    "S": 17021,
+    "D": 7326,
+    "I": 3530,
+    "N": 82107,
+    "degenerate": 16
+   },
+   "qwen": {
+    "wer": 33.65,
+    "S": 16861,
+    "D": 6851,
+    "I": 3915,
+    "N": 82107,
+    "degenerate": 16
+   },
+   "nolm_b15": {
+    "wer": 33.71,
+    "S": 16933,
+    "D": 6810,
+    "I": 3938,
+    "N": 82107,
+    "degenerate": 16
+   },
+   "audar_raw": {
+    "wer": 35.52,
+    "S": 16866,
+    "D": 2964,
+    "I": 9335,
+    "N": 82107,
+    "degenerate": 40
+   },
+   "audar_fix": {
+    "wer": 28.24,
+    "S": 16486,
+    "D": 3062,
+    "I": 3641,
+    "N": 82107,
+    "degenerate": 0
+   },
+   "clips": 6087
+  },
+  "commonvoice_test": {
+   "greedy": {
+    "wer": 5.41,
+    "S": 2557,
+    "D": 172,
+    "I": 144,
+    "N": 53104,
+    "degenerate": 0
+   },
+   "beam_top": {
+    "wer": 5.23,
+    "S": 2473,
+    "D": 174,
+    "I": 130,
+    "N": 53104,
+    "degenerate": 0
+   },
+   "beam_filter": {
+    "wer": 5.23,
+    "S": 2473,
+    "D": 174,
+    "I": 130,
+    "N": 53104,
+    "degenerate": 0
+   },
+   "beam_bonus": {
+    "wer": 5.26,
+    "S": 2493,
+    "D": 117,
+    "I": 184,
+    "N": 53104,
+    "degenerate": 0
+   },
+   "sygma": {
+    "wer": 5.26,
+    "S": 2493,
+    "D": 117,
+    "I": 184,
+    "N": 53104,
+    "degenerate": 0
+   },
+   "sygma_release": {
+    "wer": 5.28,
+    "S": 2501,
+    "D": 120,
+    "I": 184,
+    "N": 53104,
+    "degenerate": 0
+   },
+   "lennorm": {
+    "wer": 5.49,
+    "S": 2615,
+    "D": 158,
+    "I": 141,
+    "N": 53104,
+    "degenerate": 3
+   },
+   "lennorm_filter": {
+    "wer": 5.47,
+    "S": 2612,
+    "D": 152,
+    "I": 141,
+    "N": 53104,
+    "degenerate": 0
+   },
+   "qwen": {
+    "wer": 5.31,
+    "S": 2501,
+    "D": 108,
+    "I": 213,
+    "N": 53104,
+    "degenerate": 0
+   },
+   "nolm_b15": {
+    "wer": 5.33,
+    "S": 2508,
+    "D": 108,
+    "I": 212,
+    "N": 53104,
+    "degenerate": 0
+   },
+   "audar_raw": {
+    "wer": 8.13,
+    "S": 3836,
+    "D": 236,
+    "I": 247,
+    "N": 53104,
+    "degenerate": 0
+   },
+   "audar_fix": {
+    "wer": 8.13,
+    "S": 3836,
+    "D": 236,
+    "I": 247,
+    "N": 53104,
+    "degenerate": 0
+   },
+   "clips": 10471
+  },
+  "masc_test_clean": {
+   "greedy": {
+    "wer": 16.33,
+    "S": 9199,
+    "D": 1313,
+    "I": 471,
+    "N": 67274,
+    "degenerate": 4
+   },
+   "beam_top": {
+    "wer": 16.07,
+    "S": 9150,
+    "D": 1394,
+    "I": 266,
+    "N": 67274,
+    "degenerate": 1
+   },
+   "beam_filter": {
+    "wer": 16.07,
+    "S": 9150,
+    "D": 1394,
+    "I": 266,
+    "N": 67274,
+    "degenerate": 0
+   },
+   "beam_bonus": {
+    "wer": 15.95,
+    "S": 9213,
+    "D": 1098,
+    "I": 422,
+    "N": 67274,
+    "degenerate": 0
+   },
+   "sygma": {
+    "wer": 15.95,
+    "S": 9213,
+    "D": 1098,
+    "I": 422,
+    "N": 67274,
+    "degenerate": 0
+   },
+   "sygma_release": {
+    "wer": 15.97,
+    "S": 9216,
+    "D": 1108,
+    "I": 421,
+    "N": 67274,
+    "degenerate": 0
+   },
+   "lennorm": {
+    "wer": 16.01,
+    "S": 9238,
+    "D": 1182,
+    "I": 349,
+    "N": 67274,
+    "degenerate": 2
+   },
+   "lennorm_filter": {
+    "wer": 16.0,
+    "S": 9236,
+    "D": 1180,
+    "I": 349,
+    "N": 67274,
+    "degenerate": 0
+   },
+   "qwen": {
+    "wer": 16.1,
+    "S": 9243,
+    "D": 1060,
+    "I": 525,
+    "N": 67274,
+    "degenerate": 0
+   },
+   "nolm_b15": {
+    "wer": 16.09,
+    "S": 9235,
+    "D": 1055,
+    "I": 532,
+    "N": 67274,
+    "degenerate": 0
+   },
+   "audar_raw": {
+    "wer": 17.2,
+    "S": 9789,
+    "D": 1384,
+    "I": 396,
+    "N": 67274,
+    "degenerate": 0
+   },
+   "audar_fix": {
+    "wer": 17.2,
+    "S": 9789,
+    "D": 1384,
+    "I": 396,
+    "N": 67274,
+    "degenerate": 0
+   },
+   "clips": 8612
+  },
+  "masc_test_noisy": {
+   "greedy": {
+    "wer": 25.78,
+    "S": 13738,
+    "D": 2340,
+    "I": 1053,
+    "N": 66438,
+    "degenerate": 2
+   },
+   "beam_top": {
+    "wer": 25.62,
+    "S": 13383,
+    "D": 2754,
+    "I": 883,
+    "N": 66438,
+    "degenerate": 0
+   },
+   "beam_filter": {
+    "wer": 25.62,
+    "S": 13383,
+    "D": 2754,
+    "I": 883,
+    "N": 66438,
+    "degenerate": 0
+   },
+   "beam_bonus": {
+    "wer": 25.13,
+    "S": 13662,
+    "D": 1663,
+    "I": 1369,
+    "N": 66438,
+    "degenerate": 0
+   },
+   "sygma": {
+    "wer": 25.13,
+    "S": 13662,
+    "D": 1663,
+    "I": 1369,
+    "N": 66438,
+    "degenerate": 0
+   },
+   "sygma_release": {
+    "wer": 25.2,
+    "S": 13687,
+    "D": 1697,
+    "I": 1358,
+    "N": 66438,
+    "degenerate": 0
+   },
+   "lennorm": {
+    "wer": 25.42,
+    "S": 13840,
+    "D": 1878,
+    "I": 1173,
+    "N": 66438,
+    "degenerate": 3
+   },
+   "lennorm_filter": {
+    "wer": 25.41,
+    "S": 13841,
+    "D": 1867,
+    "I": 1173,
+    "N": 66438,
+    "degenerate": 0
+   },
+   "qwen": {
+    "wer": 25.25,
+    "S": 13744,
+    "D": 1527,
+    "I": 1506,
+    "N": 66438,
+    "degenerate": 0
+   },
+   "nolm_b15": {
+    "wer": 25.23,
+    "S": 13731,
+    "D": 1514,
+    "I": 1516,
+    "N": 66438,
+    "degenerate": 0
+   },
+   "audar_raw": {
+    "wer": 28.85,
+    "S": 15303,
+    "D": 2424,
+    "I": 1439,
+    "N": 66438,
+    "degenerate": 7
+   },
+   "audar_fix": {
+    "wer": 28.49,
+    "S": 15304,
+    "D": 2403,
+    "I": 1222,
+    "N": 66438,
+    "degenerate": 0
+   },
+   "clips": 9393
+  },
+  "mgb2_test": {
+   "greedy": {
+    "wer": 15.19,
+    "S": 5826,
+    "D": 3198,
+    "I": 756,
+    "N": 64381,
+    "degenerate": 10
+   },
+   "beam_top": {
+    "wer": 15.86,
+    "S": 5403,
+    "D": 4367,
+    "I": 440,
+    "N": 64381,
+    "degenerate": 1
+   },
+   "beam_filter": {
+    "wer": 15.86,
+    "S": 5403,
+    "D": 4367,
+    "I": 440,
+    "N": 64381,
+    "degenerate": 1
+   },
+   "beam_bonus": {
+    "wer": 13.56,
+    "S": 5704,
+    "D": 2188,
+    "I": 835,
+    "N": 64381,
+    "degenerate": 1
+   },
+   "sygma": {
+    "wer": 13.56,
+    "S": 5704,
+    "D": 2188,
+    "I": 835,
+    "N": 64381,
+    "degenerate": 1
+   },
+   "sygma_release": {
+    "wer": 13.57,
+    "S": 5708,
+    "D": 2196,
+    "I": 834,
+    "N": 64381,
+    "degenerate": 1
+   },
+   "lennorm": {
+    "wer": 13.76,
+    "S": 5676,
+    "D": 2461,
+    "I": 724,
+    "N": 64381,
+    "degenerate": 1
+   },
+   "lennorm_filter": {
+    "wer": 13.76,
+    "S": 5676,
+    "D": 2461,
+    "I": 724,
+    "N": 64381,
+    "degenerate": 1
+   },
+   "qwen": {
+    "wer": 13.48,
+    "S": 5697,
+    "D": 2017,
+    "I": 963,
+    "N": 64381,
+    "degenerate": 1
+   },
+   "nolm_b15": {
+    "wer": 13.57,
+    "S": 5753,
+    "D": 1999,
+    "I": 986,
+    "N": 64381,
+    "degenerate": 1
+   },
+   "audar_raw": {
+    "wer": 12.49,
+    "S": 4924,
+    "D": 2068,
+    "I": 1051,
+    "N": 64381,
+    "degenerate": 2
+   },
+   "audar_fix": {
+    "wer": 12.03,
+    "S": 4914,
+    "D": 2072,
+    "I": 757,
+    "N": 64381,
+    "degenerate": 0
+   },
+   "clips": 5365
+  },
+  "casablanca_test": {
+   "greedy": {
+    "wer": 45.7,
+    "S": 24226,
+    "D": 5085,
+    "I": 3204,
+    "N": 71145,
+    "degenerate": 29
+   },
+   "beam_top": {
+    "wer": 44.63,
+    "S": 22733,
+    "D": 6416,
+    "I": 2602,
+    "N": 71145,
+    "degenerate": 4
+   },
+   "beam_filter": {
+    "wer": 44.59,
+    "S": 22739,
+    "D": 6382,
+    "I": 2604,
+    "N": 71145,
+    "degenerate": 1
+   },
+   "beam_bonus": {
+    "wer": 44.75,
+    "S": 24011,
+    "D": 4000,
+    "I": 3827,
+    "N": 71145,
+    "degenerate": 6
+   },
+   "sygma": {
+    "wer": 44.75,
+    "S": 24010,
+    "D": 4002,
+    "I": 3824,
+    "N": 71145,
+    "degenerate": 1
+   },
+   "sygma_release": {
+    "wer": 44.77,
+    "S": 24010,
+    "D": 4019,
+    "I": 3820,
+    "N": 71145,
+    "degenerate": 1
+   },
+   "lennorm": {
+    "wer": 44.8,
+    "S": 24278,
+    "D": 4208,
+    "I": 3387,
+    "N": 71145,
+    "degenerate": 16
+   },
+   "lennorm_filter": {
+    "wer": 44.74,
+    "S": 24292,
+    "D": 4151,
+    "I": 3387,
+    "N": 71145,
+    "degenerate": 1
+   },
+   "qwen": {
+    "wer": 45.04,
+    "S": 24331,
+    "D": 3604,
+    "I": 4109,
+    "N": 71145,
+    "degenerate": 1
+   },
+   "nolm_b15": {
+    "wer": 45.08,
+    "S": 24369,
+    "D": 3566,
+    "I": 4135,
+    "N": 71145,
+    "degenerate": 1
+   },
+   "audar_raw": {
+    "wer": 56.05,
+    "S": 28385,
+    "D": 3834,
+    "I": 7659,
+    "N": 71145,
+    "degenerate": 41
+   },
+   "audar_fix": {
+    "wer": 50.18,
+    "S": 28302,
+    "D": 3817,
+    "I": 3584,
+    "N": 71145,
+    "degenerate": 0
+   },
+   "clips": 6726
+  },
+  "average": {
+   "greedy": 24.16,
+   "beam_top": 24.21,
+   "beam_filter": 24.2,
+   "beam_bonus": 23.05,
+   "sygma": 23.04,
+   "sygma_release": 23.06,
+   "lennorm": 23.27,
+   "lennorm_filter": 23.22,
+   "qwen": 23.14,
+   "nolm_b15": 23.17,
+   "audar_raw": 26.37,
+   "audar_fix": 24.05
+  }
+ },
+ "n_clusters": {
+  "sada_test": 44,
+  "commonvoice_test": 10471,
+  "masc_test_clean": 108,
+  "masc_test_noisy": 101,
+  "mgb2_test": 17,
+  "casablanca_test": 6010
+ },
+ "bootstrap": {
+  "sygma-greedy": {
+   "sada_test": {
+    "diff": -2.97,
+    "ci95": [
+     -4.03,
+     -2.07
+    ]
+   },
+   "commonvoice_test": {
+    "diff": -0.15,
+    "ci95": [
+     -0.23,
+     -0.07
+    ]
+   },
+   "masc_test_clean": {
+    "diff": -0.37,
+    "ci95": [
+     -0.63,
+     -0.15
+    ]
+   },
+   "masc_test_noisy": {
+    "diff": -0.66,
+    "ci95": [
+     -0.94,
+     -0.38
+    ]
+   },
+   "mgb2_test": {
+    "diff": -1.64,
+    "ci95": [
+     -2.31,
+     -1.04
+    ]
+   },
+   "casablanca_test": {
+    "diff": -0.95,
+    "ci95": [
+     -1.45,
+     -0.52
+    ]
+   },
+   "average": {
+    "diff": -1.12,
+    "ci95": [
+     -1.35,
+     -0.91
+    ]
+   }
+  },
+  "beam_bonus-greedy": {
+   "sada_test": {
+    "diff": -2.89,
+    "ci95": [
+     -3.96,
+     -1.98
+    ]
+   },
+   "commonvoice_test": {
+    "diff": -0.15,
+    "ci95": [
+     -0.23,
+     -0.07
+    ]
+   },
+   "masc_test_clean": {
+    "diff": -0.37,
+    "ci95": [
+     -0.63,
+     -0.15
+    ]
+   },
+   "masc_test_noisy": {
+    "diff": -0.66,
+    "ci95": [
+     -0.94,
+     -0.38
+    ]
+   },
+   "mgb2_test": {
+    "diff": -1.64,
+    "ci95": [
+     -2.31,
+     -1.04
+    ]
+   },
+   "casablanca_test": {
+    "diff": -0.95,
+    "ci95": [
+     -1.45,
+     -0.52
+    ]
+   },
+   "average": {
+    "diff": -1.11,
+    "ci95": [
+     -1.34,
+     -0.9
+    ]
+   }
+  },
+  "beam_filter-greedy": {
+   "sada_test": {
+    "diff": 1.27,
+    "ci95": [
+     0.05,
+     2.33
+    ]
+   },
+   "commonvoice_test": {
+    "diff": -0.18,
+    "ci95": [
+     -0.25,
+     -0.12
+    ]
+   },
+   "masc_test_clean": {
+    "diff": -0.26,
+    "ci95": [
+     -0.53,
+     -0.04
+    ]
+   },
+   "masc_test_noisy": {
+    "diff": -0.17,
+    "ci95": [
+     -0.4,
+     0.06
+    ]
+   },
+   "mgb2_test": {
+    "diff": 0.67,
+    "ci95": [
+     -0.07,
+     1.32
+    ]
+   },
+   "casablanca_test": {
+    "diff": -1.11,
+    "ci95": [
+     -1.61,
+     -0.68
+    ]
+   },
+   "average": {
+    "diff": 0.04,
+    "ci95": [
+     -0.21,
+     0.26
+    ]
+   }
+  },
+  "beam_top-greedy": {
+   "sada_test": {
+    "diff": 1.28,
+    "ci95": [
+     0.06,
+     2.34
+    ]
+   },
+   "commonvoice_test": {
+    "diff": -0.18,
+    "ci95": [
+     -0.25,
+     -0.12
+    ]
+   },
+   "masc_test_clean": {
+    "diff": -0.26,
+    "ci95": [
+     -0.53,
+     -0.04
+    ]
+   },
+   "masc_test_noisy": {
+    "diff": -0.17,
+    "ci95": [
+     -0.4,
+     0.06
+    ]
+   },
+   "mgb2_test": {
+    "diff": 0.67,
+    "ci95": [
+     -0.07,
+     1.32
+    ]
+   },
+   "casablanca_test": {
+    "diff": -1.07,
+    "ci95": [
+     -1.56,
+     -0.66
+    ]
+   },
+   "average": {
+    "diff": 0.04,
+    "ci95": [
+     -0.21,
+     0.27
+    ]
+   }
+  },
+  "sygma-beam_bonus": {
+   "sada_test": {
+    "diff": -0.08,
+    "ci95": [
+     -0.23,
+     -0.01
+    ]
+   },
+   "commonvoice_test": {
+    "diff": 0.0,
+    "ci95": [
+     0.0,
+     0.0
+    ]
+   },
+   "masc_test_clean": {
+    "diff": 0.0,
+    "ci95": [
+     0.0,
+     0.0
+    ]
+   },
+   "masc_test_noisy": {
+    "diff": 0.0,
+    "ci95": [
+     0.0,
+     0.0
+    ]
+   },
+   "mgb2_test": {
+    "diff": 0.0,
+    "ci95": [
+     0.0,
+     0.0
+    ]
+   },
+   "casablanca_test": {
+    "diff": -0.0,
+    "ci95": [
+     -0.01,
+     0.0
+    ]
+   },
+   "average": {
+    "diff": -0.01,
+    "ci95": [
+     -0.04,
+     -0.0
+    ]
+   }
+  },
+  "sygma-beam_filter": {
+   "sada_test": {
+    "diff": -4.24,
+    "ci95": [
+     -5.43,
+     -3.15
+    ]
+   },
+   "commonvoice_test": {
+    "diff": 0.03,
+    "ci95": [
+     -0.04,
+     0.1
+    ]
+   },
+   "masc_test_clean": {
+    "diff": -0.11,
+    "ci95": [
+     -0.21,
+     -0.01
+    ]
+   },
+   "masc_test_noisy": {
+    "diff": -0.49,
+    "ci95": [
+     -0.82,
+     -0.12
+    ]
+   },
+   "mgb2_test": {
+    "diff": -2.3,
+    "ci95": [
+     -3.26,
+     -1.33
+    ]
+   },
+   "casablanca_test": {
+    "diff": 0.16,
+    "ci95": [
+     -0.1,
+     0.4
+    ]
+   },
+   "average": {
+    "diff": -1.16,
+    "ci95": [
+     -1.42,
+     -0.9
+    ]
+   }
+  },
+  "sygma-lennorm_filter": {
+   "sada_test": {
+    "diff": -0.35,
+    "ci95": [
+     -0.68,
+     -0.06
+    ]
+   },
+   "commonvoice_test": {
+    "diff": -0.21,
+    "ci95": [
+     -0.31,
+     -0.11
+    ]
+   },
+   "masc_test_clean": {
+    "diff": -0.05,
+    "ci95": [
+     -0.15,
+     0.06
+    ]
+   },
+   "masc_test_noisy": {
+    "diff": -0.28,
+    "ci95": [
+     -0.44,
+     -0.14
+    ]
+   },
+   "mgb2_test": {
+    "diff": -0.21,
+    "ci95": [
+     -0.43,
+     0.03
+    ]
+   },
+   "casablanca_test": {
+    "diff": 0.01,
+    "ci95": [
+     -0.18,
+     0.19
+    ]
+   },
+   "average": {
+    "diff": -0.18,
+    "ci95": [
+     -0.26,
+     -0.1
+    ]
+   }
+  },
+  "lennorm_filter-greedy": {
+   "sada_test": {
+    "diff": -2.62,
+    "ci95": [
+     -3.63,
+     -1.76
+    ]
+   },
+   "commonvoice_test": {
+    "diff": 0.06,
+    "ci95": [
+     -0.03,
+     0.16
+    ]
+   },
+   "masc_test_clean": {
+    "diff": -0.32,
+    "ci95": [
+     -0.62,
+     -0.09
+    ]
+   },
+   "masc_test_noisy": {
+    "diff": -0.38,
+    "ci95": [
+     -0.61,
+     -0.12
+    ]
+   },
+   "mgb2_test": {
+    "diff": -1.43,
+    "ci95": [
+     -1.95,
+     -0.98
+    ]
+   },
+   "casablanca_test": {
+    "diff": -0.96,
+    "ci95": [
+     -1.46,
+     -0.55
+    ]
+   },
+   "average": {
+    "diff": -0.94,
+    "ci95": [
+     -1.16,
+     -0.75
+    ]
+   }
+  },
+  "qwen-sygma": {
+   "sada_test": {
+    "diff": 0.05,
+    "ci95": [
+     -0.06,
+     0.18
+    ]
+   },
+   "commonvoice_test": {
+    "diff": 0.05,
+    "ci95": [
+     0.01,
+     0.1
+    ]
+   },
+   "masc_test_clean": {
+    "diff": 0.14,
+    "ci95": [
+     0.06,
+     0.23
+    ]
+   },
+   "masc_test_noisy": {
+    "diff": 0.12,
+    "ci95": [
+     0.05,
+     0.21
+    ]
+   },
+   "mgb2_test": {
+    "diff": -0.08,
+    "ci95": [
+     -0.16,
+     0.02
+    ]
+   },
+   "casablanca_test": {
+    "diff": 0.29,
+    "ci95": [
+     0.19,
+     0.39
+    ]
+   },
+   "average": {
+    "diff": 0.1,
+    "ci95": [
+     0.06,
+     0.14
+    ]
+   }
+  },
+  "qwen-nolm_b15": {
+   "sada_test": {
+    "diff": -0.07,
+    "ci95": [
+     -0.11,
+     -0.02
+    ]
+   },
+   "commonvoice_test": {
+    "diff": -0.01,
+    "ci95": [
+     -0.03,
+     0.01
+    ]
+   },
+   "masc_test_clean": {
+    "diff": 0.01,
+    "ci95": [
+     -0.02,
+     0.03
+    ]
+   },
+   "masc_test_noisy": {
+    "diff": 0.02,
+    "ci95": [
+     -0.02,
+     0.06
+    ]
+   },
+   "mgb2_test": {
+    "diff": -0.09,
+    "ci95": [
+     -0.12,
+     -0.07
+    ]
+   },
+   "casablanca_test": {
+    "diff": -0.04,
+    "ci95": [
+     -0.09,
+     0.01
+    ]
+   },
+   "average": {
+    "diff": -0.03,
+    "ci95": [
+     -0.04,
+     -0.01
+    ]
+   }
+  },
+  "sygma-audar_fix": {
+   "sada_test": {
+    "diff": 5.36,
+    "ci95": [
+     4.26,
+     6.45
+    ]
+   },
+   "commonvoice_test": {
+    "diff": -2.87,
+    "ci95": [
+     -3.13,
+     -2.62
+    ]
+   },
+   "masc_test_clean": {
+    "diff": -1.24,
+    "ci95": [
+     -1.57,
+     -0.91
+    ]
+   },
+   "masc_test_noisy": {
+    "diff": -3.36,
+    "ci95": [
+     -4.17,
+     -2.56
+    ]
+   },
+   "mgb2_test": {
+    "diff": 1.53,
+    "ci95": [
+     0.36,
+     2.46
+    ]
+   },
+   "casablanca_test": {
+    "diff": -5.44,
+    "ci95": [
+     -5.94,
+     -4.93
+    ]
+   },
+   "average": {
+    "diff": -1.0,
+    "ci95": [
+     -1.32,
+     -0.71
+    ]
+   }
+  },
+  "beam_bonus-audar_fix": {
+   "sada_test": {
+    "diff": 5.44,
+    "ci95": [
+     4.35,
+     6.51
+    ]
+   },
+   "commonvoice_test": {
+    "diff": -2.87,
+    "ci95": [
+     -3.13,
+     -2.62
+    ]
+   },
+   "masc_test_clean": {
+    "diff": -1.24,
+    "ci95": [
+     -1.57,
+     -0.91
+    ]
+   },
+   "masc_test_noisy": {
+    "diff": -3.36,
+    "ci95": [
+     -4.17,
+     -2.56
+    ]
+   },
+   "mgb2_test": {
+    "diff": 1.53,
+    "ci95": [
+     0.36,
+     2.46
+    ]
+   },
+   "casablanca_test": {
+    "diff": -5.43,
+    "ci95": [
+     -5.94,
+     -4.92
+    ]
+   },
+   "average": {
+    "diff": -0.99,
+    "ci95": [
+     -1.31,
+     -0.7
+    ]
+   }
+  },
+  "beam_bonus-lennorm": {
+   "sada_test": {
+    "diff": -0.43,
+    "ci95": [
+     -0.77,
+     -0.13
+    ]
+   },
+   "commonvoice_test": {
+    "diff": -0.23,
+    "ci95": [
+     -0.33,
+     -0.13
+    ]
+   },
+   "masc_test_clean": {
+    "diff": -0.05,
+    "ci95": [
+     -0.16,
+     0.05
+    ]
+   },
+   "masc_test_noisy": {
+    "diff": -0.3,
+    "ci95": [
+     -0.45,
+     -0.15
+    ]
+   },
+   "mgb2_test": {
+    "diff": -0.21,
+    "ci95": [
+     -0.43,
+     0.03
+    ]
+   },
+   "casablanca_test": {
+    "diff": -0.05,
+    "ci95": [
+     -0.25,
+     0.15
+    ]
+   },
+   "average": {
+    "diff": -0.21,
+    "ci95": [
+     -0.29,
+     -0.13
+    ]
+   }
+  }
+ },
+ "nondegenerate_intersection": {
+  "sada_test": {
+   "clips": 5948,
+   "greedy": 33.92,
+   "sygma": 32.45,
+   "audar_raw": 27.52,
+   "audar_fix": 27.52
+  },
+  "commonvoice_test": {
+   "clips": 10471,
+   "greedy": 5.41,
+   "sygma": 5.26,
+   "audar_raw": 8.13,
+   "audar_fix": 8.13
+  },
+  "masc_test_clean": {
+   "clips": 8608,
+   "greedy": 16.24,
+   "sygma": 15.95,
+   "audar_raw": 17.19,
+   "audar_fix": 17.19
+  },
+  "masc_test_noisy": {
+   "clips": 9384,
+   "greedy": 25.75,
+   "sygma": 25.11,
+   "audar_raw": 28.48,
+   "audar_fix": 28.48
+  },
+  "mgb2_test": {
+   "clips": 5353,
+   "greedy": 14.99,
+   "sygma": 13.54,
+   "audar_raw": 11.99,
+   "audar_fix": 11.99
+  },
+  "casablanca_test": {
+   "clips": 6660,
+   "greedy": 44.86,
+   "sygma": 44.37,
+   "audar_raw": 49.83,
+   "audar_fix": 49.83
+  }
+ },
+ "sada_by_duration": {
+  "0-5s": {
+   "clips": 3960,
+   "greedy": 42.07,
+   "beam_top": 40.62,
+   "beam_bonus": 39.99,
+   "sygma": 39.71,
+   "audar_fix": 33.65
+  },
+  "5-10s": {
+   "clips": 1036,
+   "greedy": 35.86,
+   "beam_top": 37.62,
+   "beam_bonus": 31.47,
+   "sygma": 31.43,
+   "audar_fix": 27.48
+  },
+  "10-20s": {
+   "clips": 641,
+   "greedy": 40.65,
+   "beam_top": 45.76,
+   "beam_bonus": 33.87,
+   "sygma": 33.86,
+   "audar_fix": 26.04
+  },
+  "20-31s": {
+   "clips": 409,
+   "greedy": 30.07,
+   "beam_top": 30.36,
+   "beam_bonus": 30.31,
+   "sygma": 30.31,
+   "audar_fix": 26.33
+  }
+ },
+ "detector_audit": {
+  "sada_test": {
+   "references_flagged": 8,
+   "references": 6087,
+   "greedy_flagged": 110,
+   "greedy_flagged_with_wer_le_50": 17,
+   "examples_flagged_refs": [
+    "لا لا لا لا لا لا مو معقول يا شباب",
+    "هلا هلا هلا ضحية ضحية جديد يا هلا هلا هلا هه",
+    "دوم دوم دوم تتاكدون دوم دوم تك اها دوم دوم تك",
+    "حياكم الله تموا بسم الله الله يحييك الله يحييكم الله يحييك الله بسم الله",
+    "بشويش بشويش بشويش بشويش بشويش بشويش بشويش بشويش بشويش بسم الله عليك يا فهد سمي يوبا يا سعد يا ولدي روح نام"
+   ],
+   "filter_changed_choice": 16,
+   "filter_changed_wer_bonus_only": 100.0,
+   "filter_changed_wer_sygma": 61.99
+  },
+  "commonvoice_test": {
+   "references_flagged": 1,
+   "references": 10471,
+   "greedy_flagged": 0,
+   "greedy_flagged_with_wer_le_50": 0,
+   "examples_flagged_refs": [
+    "بالعــــــــــــــــزّ والأمــــــــــــــــان"
+   ],
+   "filter_changed_choice": 0,
+   "filter_changed_wer_bonus_only": null,
+   "filter_changed_wer_sygma": null
+  },
+  "masc_test_clean": {
+   "references_flagged": 1,
+   "references": 8612,
+   "greedy_flagged": 4,
+   "greedy_flagged_with_wer_le_50": 2,
+   "examples_flagged_refs": [
+    "و راحه و طمانينه و سعاده و قرب و امل و تفاؤل"
+   ],
+   "filter_changed_choice": 0,
+   "filter_changed_wer_bonus_only": null,
+   "filter_changed_wer_sygma": null
+  },
+  "masc_test_noisy": {
+   "references_flagged": 1,
+   "references": 9393,
+   "greedy_flagged": 2,
+   "greedy_flagged_with_wer_le_50": 0,
+   "examples_flagged_refs": [
+    "هيا هيا السندوتشات جاهزه هيا بنا هيا هيا هيا"
+   ],
+   "filter_changed_choice": 0,
+   "filter_changed_wer_bonus_only": null,
+   "filter_changed_wer_sygma": null
+  },
+  "mgb2_test": {
+   "references_flagged": 0,
+   "references": 5365,
+   "greedy_flagged": 10,
+   "greedy_flagged_with_wer_le_50": 3,
+   "examples_flagged_refs": [],
+   "filter_changed_choice": 0,
+   "filter_changed_wer_bonus_only": null,
+   "filter_changed_wer_sygma": null
+  },
+  "casablanca_test": {
+   "references_flagged": 4,
+   "references": 6726,
+   "greedy_flagged": 29,
+   "greedy_flagged_with_wer_le_50": 3,
+   "examples_flagged_refs": [
+    "ههههههههههههههه",
+    " لا لا لا لا لا لا قلت لك ماينفعش ",
+    "يلا أبوي، يلا يلا يلا يلا يلا، جان ما تطير عنا الطيارة يلا أبوي",
+    "تتصرف بنفس التصرف بالكف بالكف بالكف بالكف بالكف بالكف"
+   ],
+   "filter_changed_choice": 5,
+   "filter_changed_wer_bonus_only": 80.0,
+   "filter_changed_wer_sygma": 75.0
+  }
+ },
+ "reconstruction": {
+  "sada_test": {
+   "manifest_rows": 6189,
+   "matched": 6087,
+   "missing": 102,
+   "rows_with_shared_text": 305,
+   "rows_with_shared_text_and_duration_within_0.1s": 177,
+   "missing_mean_duration": 17.55,
+   "all_mean_duration": 6.25,
+   "missing_mean_words": 35.63,
+   "all_mean_words": 13.92
+  },
+  "casablanca_test": {
+   "manifest_rows": 6726,
+   "matched": 6726,
+   "missing": 0,
+   "rows_with_shared_text": 52,
+   "rows_with_shared_text_and_duration_within_0.1s": 12,
+   "missing_mean_duration": null,
+   "all_mean_duration": 4.12,
+   "missing_mean_words": null,
+   "all_mean_words": 11.16
+  }
+ },
+ "sensitivity_no_ambiguous": {
+  "sada_test": {
+   "clips": 5911,
+   "greedy": 36.52,
+   "beam_bonus": 33.63,
+   "sygma": 33.55,
+   "lennorm_filter": 33.87,
+   "audar_fix": 28.25
+  },
+  "commonvoice_test": {
+   "clips": 10471,
+   "greedy": 5.41,
+   "beam_bonus": 5.26,
+   "sygma": 5.26,
+   "lennorm_filter": 5.47,
+   "audar_fix": 8.13
+  },
+  "masc_test_clean": {
+   "clips": 8612,
+   "greedy": 16.33,
+   "beam_bonus": 15.95,
+   "sygma": 15.95,
+   "lennorm_filter": 16.0,
+   "audar_fix": 17.2
+  },
+  "masc_test_noisy": {
+   "clips": 9393,
+   "greedy": 25.78,
+   "beam_bonus": 25.13,
+   "sygma": 25.13,
+   "lennorm_filter": 25.41,
+   "audar_fix": 28.49
+  },
+  "mgb2_test": {
+   "clips": 5365,
+   "greedy": 15.19,
+   "beam_bonus": 13.56,
+   "sygma": 13.56,
+   "lennorm_filter": 13.76,
+   "audar_fix": 12.03
+  },
+  "casablanca_test": {
+   "clips": 6714,
+   "greedy": 45.61,
+   "beam_bonus": 44.67,
+   "sygma": 44.66,
+   "lennorm_filter": 44.65,
+   "audar_fix": 50.12
+  },
+  "average": {
+   "greedy": 24.14,
+   "beam_bonus": 23.03,
+   "sygma": 23.02,
+   "lennorm_filter": 23.19,
+   "audar_fix": 24.04
+  },
+  "removed": {
+   "sada_test": 177,
+   "casablanca_test": 12
+  },
+  "bootstrap": {
+   "beam_bonus-greedy": {
+    "sada_test": {
+     "diff": -2.89,
+     "ci95": [
+      -3.97,
+      -1.97
+     ]
+    },
+    "commonvoice_test": {
+     "diff": -0.15,
+     "ci95": [
+      -0.23,
+      -0.07
+     ]
+    },
+    "masc_test_clean": {
+     "diff": -0.37,
+     "ci95": [
+      -0.63,
+      -0.15
+     ]
+    },
+    "masc_test_noisy": {
+     "diff": -0.66,
+     "ci95": [
+      -0.94,
+      -0.38
+     ]
+    },
+    "mgb2_test": {
+     "diff": -1.64,
+     "ci95": [
+      -2.32,
+      -1.04
+     ]
+    },
+    "casablanca_test": {
+     "diff": -0.94,
+     "ci95": [
+      -1.45,
+      -0.52
+     ]
+    },
+    "average": {
+     "diff": -1.11,
+     "ci95": [
+      -1.34,
+      -0.9
+     ]
+    }
+   },
+   "sygma-audar_fix": {
+    "sada_test": {
+     "diff": 5.3,
+     "ci95": [
+      4.21,
+      6.37
+     ]
+    },
+    "commonvoice_test": {
+     "diff": -2.87,
+     "ci95": [
+      -3.13,
+      -2.62
+     ]
+    },
+    "masc_test_clean": {
+     "diff": -1.24,
+     "ci95": [
+      -1.58,
+      -0.91
+     ]
+    },
+    "masc_test_noisy": {
+     "diff": -3.36,
+     "ci95": [
+      -4.19,
+      -2.55
+     ]
+    },
+    "mgb2_test": {
+     "diff": 1.53,
+     "ci95": [
+      0.38,
+      2.48
+     ]
+    },
+    "casablanca_test": {
+     "diff": -5.45,
+     "ci95": [
+      -5.95,
+      -4.96
+     ]
+    },
+    "average": {
+     "diff": -1.02,
+     "ci95": [
+      -1.33,
+      -0.72
+     ]
+    }
+   },
+   "beam_bonus-audar_fix": {
+    "sada_test": {
+     "diff": 5.38,
+     "ci95": [
+      4.31,
+      6.44
+     ]
+    },
+    "commonvoice_test": {
+     "diff": -2.87,
+     "ci95": [
+      -3.13,
+      -2.62
+     ]
+    },
+    "masc_test_clean": {
+     "diff": -1.24,
+     "ci95": [
+      -1.58,
+      -0.91
+     ]
+    },
+    "masc_test_noisy": {
+     "diff": -3.36,
+     "ci95": [
+      -4.19,
+      -2.55
+     ]
+    },
+    "mgb2_test": {
+     "diff": 1.53,
+     "ci95": [
+      0.38,
+      2.48
+     ]
+    },
+    "casablanca_test": {
+     "diff": -5.45,
+     "ci95": [
+      -5.95,
+      -4.96
+     ]
+    },
+    "average": {
+     "diff": -1.0,
+     "ci95": [
+      -1.32,
+      -0.7
+     ]
+    }
+   }
+  }
+ },
+ "examples_wer": {
+  "6k_v_SBA_187_1-seg_287_573-290_051": {
+   "greedy": 12.5,
+   "beam_bonus": 12.5,
+   "sygma": 12.5,
+   "audar_raw": 12.5,
+   "audar_fix": 12.5
+  },
+  "6k_SBA_116_0-seg_400_170-403_210": {
+   "greedy": 57.1,
+   "beam_bonus": 28.6,
+   "sygma": 28.6,
+   "audar_raw": 14.3,
+   "audar_fix": 14.3
+  },
+  "6k_v_SBA_32_3-seg_284_515-290_800": {
+   "greedy": 850.0,
+   "beam_bonus": 83.3,
+   "sygma": 83.3,
+   "audar_raw": 7333.3,
+   "audar_fix": 116.7
+  },
+  "6k_v_SBA_41_1-seg_133_300-152_850": {
+   "greedy": 607.1,
+   "beam_bonus": 100.0,
+   "sygma": 100.0,
+   "audar_raw": 1035.7,
+   "audar_fix": 92.9
+  }
+ },
+ "examples_reward_only_same_as_sygma": {
+  "6k_v_SBA_187_1-seg_287_573-290_051": true,
+  "6k_SBA_116_0-seg_400_170-403_210": true,
+  "6k_v_SBA_32_3-seg_284_515-290_800": true,
+  "6k_v_SBA_41_1-seg_133_300-152_850": false
+ },
+ "qwen_truncation": {
+  "unique_hypotheses": 368358,
+  "over_400_tokens": 0,
+  "over_400_degenerate": 0
+ }
+}

analysis/reviewer_analyses.py

@@ -0,0 +1,388 @@
+"""Offline analyses requested in review, computed from saved artifacts (no new decoding).
+
+Inputs (downloaded from gdrive:ASR/...):
+  nbest/<set>.jsonl        8-best lists per clip: text, am (summed log-prob, length penalty 0),
+                           degenerate flag, qwen (Qwen3-1.7B-Base log-prob, nats)
+                           [gdrive:ASR/paper_artifacts/qwen_rescoring]
+  base/base_<set>.jsonl    greedy outputs of the base model   [gdrive:ASR/benchmarks/leaderboard_base]
+  audar/audar[fix]_<set>   Audar raw / with repair             [gdrive:ASR/paper_artifacts/pod_final_snapshot/bench_outputs]
+  lb/<set>.json            leaderboard manifests (GitHub)
+
+    .venv/bin/python paper/analysis/reviewer_analyses.py --art <dir> --out paper/analysis/results.json
+"""
+
+import argparse
+import json
+import math
+import random
+import re
+import sys
+from collections import Counter, defaultdict
+from pathlib import Path
+
+# The decoder (sygma_asr.py + cohere_asr/) sits at the repository root in the Hugging Face release
+# (analysis/ is one level down) and in hf_release/Sygma-ASR-Arabic/ in the development tree.
+_here = Path(__file__).resolve().parent
+DECODER = next(c for c in (_here.parent, _here.parents[1] / "hf_release" / "Sygma-ASR-Arabic")
+               if (c / "sygma_asr.py").exists())
+sys.path.insert(0, str(DECODER))
+from sygma_asr import is_degenerate  # noqa: E402  (the released detector)
+
+SETS = ["sada_test", "commonvoice_test", "masc_test_clean", "masc_test_noisy", "mgb2_test", "casablanca_test"]
+BASE_FILES = {"sada_test": "base_sada_test", "commonvoice_test": "base_cv_commonvoice_test",
+              "masc_test_clean": "base_masc_test_clean", "masc_test_noisy": "base_masc_test_noisy",
+              "mgb2_test": "base_mgb2_test", "casablanca_test": "base_casablanca_test"}
+BETA, Q_ALPHA, Q_BETA = 1.0, 0.01, 1.5
+
+
+def normalize_arabic_text(text):
+    """Verbatim copy of the leaderboard's eval.py normalization (= finetune/bench.py)."""
+    text = re.sub(r'[!"#$%&\'()*+,\-./:;<=>?@\[\\\]^_`{|}~،؛؟]', '', text)
+    text = re.sub(r'[ً-ْ]', '', text)
+    text = re.sub('پ', 'ب', text)
+    text = re.sub('ڤ', 'ف', text)
+    text = re.sub(r'[آ]', 'ا', text)
+    text = re.sub(r'[أإ]', 'ا', text)
+    text = re.sub(r'[ؤ]', 'و', text)
+    text = re.sub(r'[ئ]', 'ي', text)
+    text = re.sub(r'[ء]', '', text)
+    for e, w in zip('٠١٢٣٤٥٦٧٨٩', '0123456789'):
+        text = text.replace(e, w)
+    text = re.sub(r'(^|\s)و\s+', r'\1و', text)
+    return re.sub(r'\s+', ' ', text).strip()
+
+
+def sdi(ref, hyp):
+    """Word-level (substitutions, deletions, insertions, reference words), scored with jiwer
+    exactly as in finetune/bench.py."""
+    import jiwer
+    n = len(ref.split())
+    if not ref.strip():
+        return 0, 0, len(hyp.split()), 0
+    if not hyp.strip():
+        return 0, n, 0, n
+    o = jiwer.process_words(ref, hyp)
+    return o.substitutions, o.deletions, o.insertions, n
+
+
+def _words(text):
+    """Word count used for the benchmarked results: words after the leaderboard normalization
+    (finetune/rescore.py: len(N(t).split()))."""
+    return len(normalize_arabic_text(text).split())
+
+
+def cluster_of(set_name, cid):
+    """Recording-level cluster for the bootstrap (clips of one recording are resampled together)."""
+    if set_name == "sada_test":  # 6k_v_SBA2_2011_1-seg_... -> episode 6k_v_SBA2_2011
+        return re.sub(r"_\d+$", "", cid.split("-seg")[0])
+    if set_name.startswith("masc"):  # <video_id>_<start>
+        return cid.rsplit("_", 1)[0]
+    if set_name == "mgb2_test":  # <program-guid>_spk-..._seg-...
+        return cid.split("_spk")[0]
+    if set_name == "casablanca_test":  # <recording>_<segment>
+        return cid.split("_")[0]
+    return cid  # Common Voice: no speaker id survives in the manifest (its `id` is unique per clip) -> clip level
+
+
+def load_jsonl(p):
+    return [json.loads(l) for l in open(p, encoding="utf-8")]
+
+
+def stem(name):
+    return Path(name).name.rsplit(".wav", 1)[0]
+
+
+def pick(hyps, key, filt):
+    """Benchmarked selection (finetune/rescore.py): if every hypothesis is degenerate, all are re-scored."""
+    pool = [h for h in hyps if not (filt and h["degenerate"])] or hyps
+    return max(pool, key=key)["text"]
+
+
+def pick_release(hyps):
+    """Released sygma_asr.py: word count on punctuation-stripped raw text; top beam if all are degenerate."""
+    from sygma_asr import _words as raw_words
+    good = [h for h in hyps if not h["degenerate"]]
+    return max(good, key=lambda h: h["am"] + BETA * raw_words(h["text"]))["text"] if good else hyps[0]["text"]
+
+
+def main():
+    ap = argparse.ArgumentParser()
+    ap.add_argument("--art", required=True)
+    ap.add_argument("--out", required=True)
+    ap.add_argument("--boot", type=int, default=10000)
+    args = ap.parse_args()
+    art = Path(args.art)
+    res = {}
+
+    # token lengths for the length-normalization baseline (the model's own tokenizer)
+    from huggingface_hub import snapshot_download
+    from cohere_asr.tokenization_cohere_asr import CohereAsrTokenizer
+    tok = CohereAsrTokenizer.from_pretrained(snapshot_download("CohereLabs/cohere-transcribe-arabic-07-2026"))
+    tl_cache = {}
+
+    def ntok(t):
+        if t not in tl_cache:
+            tl_cache[t] = len(tok(t, add_special_tokens=False)["input_ids"]) + 1  # + EOS
+        return tl_cache[t]
+
+    # ---------- dev set: tune the length-normalization exponent (pooled 608 clips) ----------
+    dev = load_jsonl(art / "nbest/dev_youtube_najdi.jsonl") + load_jsonl(art / "nbest/dev_saudi_podcasts.jsonl")
+
+    def corpus_wer(pairs):
+        e = w = 0
+        for ref, hyp in pairs:
+            s, d, i, n = sdi(normalize_arabic_text(ref), normalize_arabic_text(hyp))
+            e += s + d + i
+            w += n
+        return 100 * e / w
+
+    lam_grid = [0.0, 0.25, 0.5, 0.75, 1.0, 1.25, 1.5, 2.0, 2.5, 3.0, 4.0, 6.0]
+    dev_ln = {}
+    for filt in (False, True):
+        for lam in lam_grid:
+            dev_ln[(filt, lam)] = corpus_wer([(r["ref"], pick(r["hyps"], lambda h: h["am"] / ntok(h["text"]) ** lam, filt)) for r in dev])
+    best_ln = {filt: min(lam_grid, key=lambda l: dev_ln[(filt, l)]) for filt in (False, True)}
+    res["dev_lennorm"] = {f"{'filter' if f else 'nofilter'}_lambda{l}": round(v, 2) for (f, l), v in dev_ln.items()}
+    res["dev_lennorm_best"] = {("filter" if f else "nofilter"): l for f, l in best_ln.items()}
+    dev_sys = {
+        "beam_top": lambda r: r["hyps"][0]["text"],
+        "beam_filter": lambda r: pick(r["hyps"], lambda h: h["am"], True),
+        "beam_bonus": lambda r: pick(r["hyps"], lambda h: h["am"] + BETA * _words(h["text"]), False),
+        "sygma": lambda r: pick(r["hyps"], lambda h: h["am"] + BETA * _words(h["text"]), True),
+    }
+    res["dev"] = {k: round(corpus_wer([(r["ref"], f(r)) for r in dev]), 2) for k, f in dev_sys.items()}
+    res["dev_beta_curve"] = {("filter" if filt else "nofilter"): {str(b): round(corpus_wer(
+        [(r["ref"], pick(r["hyps"], lambda h, b=b: h["am"] + b * _words(h["text"]), filt)) for r in dev]), 2)
+        for b in (0.0, 0.25, 0.5, 0.75, 1.0, 1.25, 1.5, 2.0, 2.5, 3.0)} for filt in (False, True)}
+    res["dev_youtube_only_beam_top"] = round(corpus_wer([(r["ref"], r["hyps"][0]["text"]) for r in dev[:600]]), 2)
+
+    # ---------- test sets ----------
+    systems = ["greedy", "beam_top", "beam_filter", "beam_bonus", "sygma", "sygma_release", "lennorm", "lennorm_filter",
+               "qwen", "nolm_b15", "audar_raw", "audar_fix"]
+    per = {}  # set -> system -> list of (S, D, I, N) aligned by clip
+    meta = {}
+    for s in SETS:
+        nb = {stem(r["file"]): r for r in load_jsonl(art / f"nbest/{s}.jsonl")}
+        greedy = {stem(r["audio_filepath"]): r for r in load_jsonl(art / f"base/{BASE_FILES[s]}.jsonl")}
+        araw = {stem(r["audio_filepath"]): r for r in load_jsonl(art / f"audar/audar_{s}.jsonl")}
+        afix = {stem(r["audio_filepath"]): r for r in load_jsonl(art / f"audar/audarfix_{s}.jsonl")}
+        ids = [i for i in greedy if i in nb and i in araw and i in afix]
+        outs = defaultdict(list)
+        for cid in ids:
+            hy = nb[cid]["hyps"]
+            outs["greedy"].append(greedy[cid]["pred_text"])
+            outs["beam_top"].append(hy[0]["text"])
+            outs["beam_filter"].append(pick(hy, lambda h: h["am"], True))
+            outs["beam_bonus"].append(pick(hy, lambda h: h["am"] + BETA * _words(h["text"]), False))
+            outs["sygma"].append(pick(hy, lambda h: h["am"] + BETA * _words(h["text"]), True))
+            outs["sygma_release"].append(pick_release(hy))
+            outs["lennorm"].append(pick(hy, lambda h: h["am"] / ntok(h["text"]) ** best_ln[False], False))
+            outs["lennorm_filter"].append(pick(hy, lambda h: h["am"] / ntok(h["text"]) ** best_ln[True], True))
+            outs["qwen"].append(pick(hy, lambda h: h["am"] + Q_ALPHA * h["qwen"] + Q_BETA * _words(h["text"]), True))
+            outs["nolm_b15"].append(pick(hy, lambda h: h["am"] + Q_BETA * _words(h["text"]), True))
+            outs["audar_raw"].append(araw[cid]["pred_text"])
+            outs["audar_fix"].append(afix[cid]["pred_text"])
+        refs = [greedy[c]["text"] for c in ids]
+        per[s] = {k: [sdi(normalize_arabic_text(r), normalize_arabic_text(h)) for r, h in zip(refs, outs[k])] for k in systems}
+        meta[s] = {"ids": ids, "dur": [greedy[c]["duration"] for c in ids], "refs": refs,
+                   "outs": outs,
+                   "clusters": [greedy[c]["id"] if s == "commonvoice_test" else cluster_of(s, c) for c in ids]}
+        print(f"[{s}] {len(ids)} clips", flush=True)
+
+    def wer_of(rows, idx=None):
+        it = rows if idx is None else (rows[i] for i in idx)
+        e = w = 0
+        for a, b, c, n in it:
+            e += a + b + c
+            w += n
+        return 100 * e / w if w else float("nan")
+
+    table = {}
+    for s in SETS:
+        table[s] = {}
+        for k in systems:
+            S_ = sum(x[0] for x in per[s][k]); D = sum(x[1] for x in per[s][k]); I = sum(x[2] for x in per[s][k]); N = sum(x[3] for x in per[s][k])
+            table[s][k] = {"wer": round(wer_of(per[s][k]), 2), "S": S_, "D": D, "I": I, "N": N,
+                           "degenerate": sum(is_degenerate(o) for o in meta[s]["outs"][k])}
+        table[s]["clips"] = len(meta[s]["ids"])
+    table["average"] = {k: round(sum(wer_of(per[s][k]) for s in SETS) / len(SETS), 2) for k in systems}
+    res["test"] = table
+
+    # ---------- paired cluster bootstrap (resample recordings; macro-average recomputed per replicate) ----------
+    import numpy as np
+    nrng = np.random.default_rng(0)
+    cl_idx, cl_err, cl_n = {}, {}, {}
+    for s in SETS:
+        names = sorted(set(meta[s]["clusters"]))
+        pos = {c: j for j, c in enumerate(names)}
+        cl_idx[s] = np.array([pos[c] for c in meta[s]["clusters"]])
+        cl_err[s], cl_n[s] = {}, {}
+        for k in systems:
+            e = np.array([a + b_ + c for a, b_, c, _ in per[s][k]], dtype=float)
+            n = np.array([x[3] for x in per[s][k]], dtype=float)
+            cl_err[s][k] = np.bincount(cl_idx[s], weights=e, minlength=len(names))
+            cl_n[s][k] = np.bincount(cl_idx[s], weights=n, minlength=len(names))
+    res["n_clusters"] = {s: int(cl_idx[s].max() + 1) for s in SETS}
+    # per-set, per-system WER for every replicate; replicates drawn in chunks to bound memory.
+    # Each replicate draws n_clusters recordings with replacement (multinomial counts), so a
+    # recording drawn twice contributes its errors and words twice.
+    boot = {s: {k: [] for k in systems} for s in SETS}
+    chunk = 1000
+    for start in range(0, args.boot, chunk):
+        m = min(chunk, args.boot - start)
+        for s in SETS:
+            n_c = res["n_clusters"][s]
+            cnt = nrng.multinomial(n_c, np.full(n_c, 1 / n_c), size=m).astype(np.float32)
+            for k in systems:
+                boot[s][k].append(100 * (cnt @ cl_err[s][k]) / (cnt @ cl_n[s][k]))
+    boot = {s: {k: np.concatenate(v) for k, v in d.items()} for s, d in boot.items()}
+
+    def boot_wer(s, k):
+        return boot[s][k]
+
+    def ci(v):
+        lo, hi = np.percentile(np.asarray(v), [2.5, 97.5])  # numpy default (linear interpolation)
+        return [round(float(lo), 2), round(float(hi), 2)]
+
+    pairs = [("sygma", "greedy"), ("beam_bonus", "greedy"), ("beam_filter", "greedy"), ("beam_top", "greedy"),
+             ("sygma", "beam_bonus"), ("sygma", "beam_filter"), ("sygma", "lennorm_filter"), ("lennorm_filter", "greedy"),
+             ("qwen", "sygma"), ("qwen", "nolm_b15"), ("sygma", "audar_fix"), ("beam_bonus", "audar_fix"),
+             ("beam_bonus", "lennorm")]
+    res["bootstrap"] = {}
+    for a, bb in pairs:
+        d = {s: boot_wer(s, a) - boot_wer(s, bb) for s in SETS}
+        avg = sum(d[s] for s in SETS) / len(SETS)
+        point = {s: round(wer_of(per[s][a]) - wer_of(per[s][bb]), 2) for s in SETS}
+        point["average"] = round(sum(wer_of(per[s][a]) - wer_of(per[s][bb]) for s in SETS) / len(SETS), 2)
+        res["bootstrap"][f"{a}-{bb}"] = {**{s: {"diff": point[s], "ci95": ci(d[s])} for s in SETS},
+                                         "average": {"diff": point["average"], "ci95": ci(avg)}}
+
+    # ---------- same non-degenerate intersection ----------
+    inter = {}
+    for s in SETS:
+        o = meta[s]["outs"]
+        keep = [i for i in range(len(meta[s]["ids"]))
+                if not any(is_degenerate(o[k][i]) for k in ("greedy", "sygma", "audar_raw"))]
+        inter[s] = {"clips": len(keep), **{k: round(wer_of(per[s][k], keep), 2) for k in ("greedy", "sygma", "audar_raw", "audar_fix")}}
+    res["nondegenerate_intersection"] = inter
+
+    # ---------- SADA by duration (all clips) ----------
+    buckets = [(0, 5), (5, 10), (10, 20), (20, 31)]
+    dd = {}
+    for lo, hi in buckets:
+        idx = [i for i, d in enumerate(meta["sada_test"]["dur"]) if lo <= d < hi]
+        dd[f"{lo}-{hi}s"] = {"clips": len(idx), **{k: round(wer_of(per["sada_test"][k], idx), 2)
+                                                  for k in ("greedy", "beam_top", "beam_bonus", "sygma", "audar_fix")}}
+    res["sada_by_duration"] = dd
+
+    # ---------- detector audit ----------
+    aud = {}
+    for s in SETS:
+        refs = meta[s]["refs"]
+        o = meta[s]["outs"]
+        flagged_refs = [r for r in refs if is_degenerate(r)]
+        fl = [i for i, h in enumerate(o["greedy"]) if is_degenerate(h)]
+        low = [i for i in fl if wer_of([per[s]["greedy"][i]]) <= 50]
+        aud[s] = {"references_flagged": len(flagged_refs), "references": len(refs),
+                  "greedy_flagged": len(fl), "greedy_flagged_with_wer_le_50": len(low),
+                  "examples_flagged_refs": flagged_refs[:5]}
+        # clips where the filter changed Sygma's choice vs. bonus-only, and the effect
+        ch = [i for i in range(len(refs)) if o["sygma"][i] != o["beam_bonus"][i]]
+        aud[s]["filter_changed_choice"] = len(ch)
+        aud[s]["filter_changed_wer_bonus_only"] = round(wer_of(per[s]["beam_bonus"], ch), 2) if ch else None
+        aud[s]["filter_changed_wer_sygma"] = round(wer_of(per[s]["sygma"], ch), 2) if ch else None
+    res["detector_audit"] = aud
+
+    # ---------- benchmark reconstruction audit ----------
+    rec = {}
+    for s in ("sada_test", "casablanca_test"):
+        lb = [json.loads(l) for l in open(art / f"lb/{s}.json", encoding="utf-8")]
+        texts = Counter(normalize_arabic_text(r["text"]) for r in lb)
+        lid = lambda r: r.get("id") or stem(r["audio_filepath"])
+        have = set(meta[s]["ids"])
+        missing = [r for r in lb if lid(r) not in have]
+        amb = [r for r in lb if texts[normalize_arabic_text(r["text"])] > 1]
+        amb_dur = [r for r in amb if sum(1 for q in amb if normalize_arabic_text(q["text"]) == normalize_arabic_text(r["text"])
+                                         and abs(q["duration"] - r["duration"]) <= 0.1) > 1]
+        rec[s] = {"manifest_rows": len(lb), "matched": len(lb) - len(missing), "missing": len(missing),
+                  "rows_with_shared_text": len(amb), "rows_with_shared_text_and_duration_within_0.1s": len(amb_dur),
+                  "missing_mean_duration": round(sum(r["duration"] for r in missing) / len(missing), 2) if missing else None,
+                  "all_mean_duration": round(sum(r["duration"] for r in lb) / len(lb), 2),
+                  "missing_mean_words": round(sum(len(r["text"].split()) for r in missing) / len(missing), 2) if missing else None,
+                  "all_mean_words": round(sum(len(r["text"].split()) for r in lb) / len(lb), 2)}
+    res["reconstruction"] = rec
+
+    # ---------- sensitivity: drop leaderboard rows whose text+duration match is ambiguous ----------
+    sens = {}
+    amb_ids = {}
+    for s in ("sada_test", "casablanca_test"):
+        lb = [json.loads(l) for l in open(art / f"lb/{s}.json", encoding="utf-8")]
+        lid = lambda r: r.get("id") or stem(r["audio_filepath"])
+        by_text = defaultdict(list)
+        for r in lb:
+            by_text[normalize_arabic_text(r["text"])].append(r)
+        amb_ids[s] = {lid(r) for grp in by_text.values() if len(grp) > 1 for r in grp
+                      if sum(1 for q in grp if abs(q["duration"] - r["duration"]) <= 0.1) > 1}
+    for s in SETS:
+        keep = [i for i, c in enumerate(meta[s]["ids"]) if c not in amb_ids.get(s, set())]
+        sens[s] = {"clips": len(keep), **{k: round(wer_of(per[s][k], keep), 2)
+                                          for k in ("greedy", "beam_bonus", "sygma", "lennorm_filter", "audar_fix")}}
+    sens["average"] = {k: round(sum(sens[s][k] for s in SETS) / len(SETS), 2)
+                       for k in ("greedy", "beam_bonus", "sygma", "lennorm_filter", "audar_fix")}
+    sens["removed"] = {s: len(amb_ids[s]) for s in amb_ids}
+    keepmask = {s: [c not in amb_ids.get(s, set()) for c in meta[s]["ids"]] for s in SETS}
+    sb = {s: {} for s in SETS}
+    for s in SETS:
+        idx = [i for i, k in enumerate(keepmask[s]) if k]
+        names = sorted({meta[s]["clusters"][i] for i in idx}); pos = {c: j for j, c in enumerate(names)}
+        ci_ = np.array([pos[meta[s]["clusters"][i]] for i in idx])
+        for k in ("greedy", "beam_bonus", "sygma", "audar_fix"):
+            e = np.array([sum(per[s][k][i][:3]) for i in idx], float); n = np.array([per[s][k][i][3] for i in idx], float)
+            sb[s][k] = (np.bincount(ci_, weights=e, minlength=len(names)), np.bincount(ci_, weights=n, minlength=len(names)))
+        sb[s]["_n"] = len(names)
+    srng = np.random.default_rng(1)
+    acc = {pr: {s: [] for s in SETS} for pr in [("beam_bonus", "greedy"), ("sygma", "audar_fix"), ("beam_bonus", "audar_fix")]}
+    for start in range(0, args.boot, 1000):
+        m = min(1000, args.boot - start)
+        for s in SETS:
+            n_c = sb[s]["_n"]; cnt = srng.multinomial(n_c, np.full(n_c, 1 / n_c), size=m).astype(np.float32)
+            w = {k: 100 * (cnt @ sb[s][k][0]) / (cnt @ sb[s][k][1]) for k in ("greedy", "beam_bonus", "sygma", "audar_fix")}
+            for a_, b_ in acc:
+                acc[(a_, b_)][s].append(w[a_] - w[b_])
+    sens["bootstrap"] = {}
+    for (a_, b_), d in acc.items():
+        d = {s: np.concatenate(v) for s, v in d.items()}
+        avg = sum(d[s] for s in SETS) / len(SETS)
+        kept = {s: [i for i, k in enumerate(keepmask[s]) if k] for s in SETS}
+        pt = {s: wer_of(per[s][a_], kept[s]) - wer_of(per[s][b_], kept[s]) for s in SETS}
+        sens["bootstrap"][f"{a_}-{b_}"] = {**{s: {"diff": round(pt[s], 2), "ci95": ci(d[s])} for s in SETS},
+                                           "average": {"diff": round(sum(pt.values()) / len(SETS), 2), "ci95": ci(avg)}}
+    res["sensitivity_no_ambiguous"] = sens
+
+    # ---------- WER of the example outputs (Table: real outputs) ----------
+    ex_ids = ["6k_v_SBA_187_1-seg_287_573-290_051", "6k_SBA_116_0-seg_400_170-403_210",
+              "6k_v_SBA_32_3-seg_284_515-290_800", "6k_v_SBA_41_1-seg_133_300-152_850"]
+    pos = {c: i for i, c in enumerate(meta["sada_test"]["ids"])}
+    res["examples_wer"] = {c: {k: round(wer_of([per["sada_test"][k][pos[c]]]), 1)
+                               for k in ("greedy", "beam_bonus", "sygma", "audar_raw", "audar_fix")} for c in ex_ids}
+    res["examples_reward_only_same_as_sygma"] = {c: meta["sada_test"]["outs"]["beam_bonus"][pos[c]] == meta["sada_test"]["outs"]["sygma"][pos[c]] for c in ex_ids}
+
+    # ---------- Qwen truncation: hypotheses longer than 400 Qwen tokens ----------
+    try:
+        from transformers import AutoTokenizer
+        qtok = AutoTokenizer.from_pretrained("Qwen/Qwen3-1.7B-Base")
+        texts = {h["text"] for s in SETS + ["dev_youtube_najdi", "dev_saudi_podcasts"]
+                 for r in load_jsonl(art / f"nbest/{s}.jsonl") for h in r["hyps"]}
+        long_ = [t for t in texts if len(qtok(t, add_special_tokens=False)["input_ids"]) > 400]
+        res["qwen_truncation"] = {"unique_hypotheses": len(texts), "over_400_tokens": len(long_),
+                                  "over_400_degenerate": sum(is_degenerate(t) for t in long_)}
+    except Exception as e:  # tokenizer download unavailable
+        res["qwen_truncation"] = {"error": str(e)}
+
+    Path(args.out).write_text(json.dumps(res, ensure_ascii=False, indent=1))
+    print(json.dumps({k: res[k] for k in ("dev", "dev_lennorm_best")}, indent=1))
+    print(json.dumps(res["test"]["average"], indent=1))
+
+
+if __name__ == "__main__":
+    main()

paper_artifacts/README.md

@@ -0,0 +1,17 @@
+# Paper artifacts: predictions and 8-best lists
+
+These are the per-clip system outputs behind every table of the paper *Sygma ASR Arabic: Improving Dialectal Speech Recognition through Length-Corrected N-Best Decoding*.
+
+**No reference transcripts are included.** `analysis/attach_references.py` re-attaches them from their public sources:
+
+- **Test sets:** the [Open Universal Arabic ASR Leaderboard](https://github.com/Natural-Language-Processing-Elm/open_universal_arabic_asr_leaderboard) manifests, at commit `8fce8595b49057c98bafc2ba41b69c331cb5176e`.
+- **Development sets:** `ahmedsamirtarjama/youtube_najdi` and `HuggingPanda/Saudi_Podcasts_ASR`, at pinned revisions, matched by row index.
+
+| Path | Contents |
+|---|---|
+| `nbest/<set>.jsonl` | One row per clip: `file`, and `hyps` holding 8 hypotheses, each with `text`, `am` (summed log-prob, length penalty 0), `degenerate` and `qwen` (Qwen3-1.7B-Base log-prob, nats). Test sets plus the two development sets. |
+| `base/base_<set>.jsonl` | Greedy output of the pretrained base model (`pred_text`), with `audio_filepath`, `duration` and the manifest `id`. |
+| `audar/audar_<set>.jsonl` | Audar-ASR-V1-Turbo output in our pipeline, with its model-card settings. |
+| `audar/audarfix_<set>.jsonl` | The same, after re-decoding degenerate outputs (system-specific repair). |
+
+Audar-ASR-V1-Turbo outputs were produced under the AudarAI Community License v1.0 for research benchmarking. They are published as evaluation results and imply no endorsement by AudarAI. Test-set audio is not redistributed; rebuild it from the public mirrors (see the paper, Section 3).

paper_artifacts/nbest/commonvoice_test.jsonl

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:142ce85260b95affa70c0e2b4876a9450d91184b0883a2c24b426b318e052ff6
+size 12811945

paper_artifacts/nbest/dev_saudi_podcasts.jsonl

@@ -0,0 +1,8 @@
+{"file": "saudi_podcasts_000084.wav", "hyps": [{"text": "ما ادري لكن في تلك اللحظه يعني حسن طويري الله يعطيك العافيه ولا الله يسامحك؟ لا الله يعطيه العافيه الله يعطيه العافيه هذه ترى لحظات عجيبه لانه يعني فعلا وكل واحد عنده قصه في هذه المرحله اللي يقول كنت قاعد وجاء ابوي قال يلا مشينا نسجل ولا جاء اخوي قال يلا ولا جاء فلان قال وهذه البعض يشوفها مشكله اصلا في النظام التعليمي انه يعني انت في ذاك المرحله ما تدري وش تبغى وما تدري وش نعم", "am": -7.562635898590088, "degenerate": false, "qwen": -545.8482666015625}, {"text": "ما ادري لكن في تلك اللحظه يعني حسن طويرقي الله يعطيك العافيه ولا الله يسامحك؟ لا الله يعطيه العافيه الله يعطيه العافيه هذه ترى لحظات عجيبه لانه يعني فعلا وكل واحد عنده قصه في هذه المرحله اللي يقول كنت قاعد وجاء ابوي قال يلا مشينا نسجل ولا جاء اخوي قال يلا ولا جاء فلان قال وهذه البعض يشوفها مشكله اصلا في النظام التعليمي انه يعني انت في ذاك المرحله ما تدري وش تبغى وما تدري وش نعم", "am": -7.793780326843262, "degenerate": false, "qwen": -554.79638671875}, {"text": "ما ادري لكن في تلك اللحظه يعني حسن طويري الله يعطيك العافيه ولا الله يسامحك؟ لا الله يعطيه العافيه الله يعطيه العافيه هذه ترى لحظات عجيبه لانه يعني فعلا وكل واحد عنده قصه في هذه المرحله اللي يقول كنت قاعد وجاء ابوي قال يلا مشينا نسجل ولا جاء اخوي قال يلا ولا جاء فلان قال وهذه البعض يشوفها مشكله اصلا في النظام التعليمي انه يعني انت في ذاك المرحله ما تدري وش تبغى وما تدري وش نعم صحيح", "am": -8.130192756652832, "degenerate": false, "qwen": -551.9638671875}, {"text": "ما ادري لكن في تلك اللحظه يعني حسن طويرقي الله يعطيك العافيه ولا الله يسامحك؟ لا الله يعطيه العافيه الله يعطيه العافيه هذه ترى لحظات عجيبه لانه يعني فعلا وكل واحد عنده قصه في هذه المرحله اللي يقول كنت قاعد وجاء ابوي قال يلا مشينا نسجل ولا جاء اخوي قال يلا ولا جاء فلان قال وهذه البعض يشوفها مشكله اصلا في النظام التعليمي انه يعني انت في ذاك المرحله ما تدري وش تبغى وما تدري وش نعم صحيح", "am": -8.360993385314941, "degenerate": false, "qwen": -561.0250854492188}, {"text": "ما ادري لكن في تلك اللحظه يعني حسن طويري الله يعطيك العافيه ولا الله يسامحك؟ لا الله يعطيه العافيه الله يعطيه العافيه هذه ترى لحظات عجيبه لان يعني فعلا وكل واحد عنده قصه في هذه المرحله اللي يقول كنت قاعد وجاء ابوي قال يلا مشينا نسجل ولا جاء اخوي قال يلا ولا جاء فلان قال وهذه البعض يشوفها مشكله اصلا في النظام التعليمي انه يعني انت في ذاك المرحله ما تدري وش تبغى وما تدري وش نعم", "am": -8.563798904418945, "degenerate": false, "qwen": -548.62109375}, {"text": "ما ادري لكن في تلك اللحظه يعني حسن طويرقي الله يعطيك العافيه ولا الله يسامحك؟ لا الله يعطيه العافيه الله يعطيه العافيه هذه ترى لحظات عجيبه لان يعني فعلا وكل واحد عنده قصه في هذه المرحله اللي يقول كنت قاعد وجاء ابوي قال يلا مشينا نسجل ولا جاء اخوي قال يلا ولا جاء فلان قال وهذه البعض يشوفها مشكله اصلا في النظام التعليمي انه يعني انت في ذاك المرحله ما تدري وش تبغى وما تدري وش نعم", "am": -8.737364768981934, "degenerate": false, "qwen": -557.5285034179688}, {"text": "ما ادري لكن في تلك اللحظه يعني حسن طويري الله يعطيك العافيه ولا الله يسامحك؟ لا الله يعطيه العافيه الله يعطيه العافيه هذه ترى لحظات عجيبه لان يعني فعلا وكل واحد عنده قصه في هذه المرحله اللي يقول كنت قاعد وجاء ابوي قال يلا مشينا نسجل ولا جاء اخوي قال يلا ولا جاء فلان قال وهذه البعض يشوفها مشكله اصلا في النظام التعليمي انه يعني انت في ذاك المرحله ما تدري وش تبغى وما تدري وش نعم صحيح", "am": -8.98222827911377, "degenerate": false, "qwen": -554.4840087890625}, {"text": "ما ادري لكن في تلك اللحظه يعني حسن طويرقي الله يعطيك العافيه ولا الله يسامحك؟ لا الله يعطيه العافيه الله يعطيه العافيه هذه ترى لحظات عجيبه لان يعني فعلا وكل واحد عنده قصه في هذه المرحله اللي يقول كنت قاعد وجاء ابوي قال يلا مشينا نسجل ولا جاء اخوي قال يلا ولا جاء فلان قال وهذه البعض يشوفها مشكله اصلا في النظام التعليمي انه يعني انت في ذاك المرحله ما تدري وش تبغى وما تدري وش نعم صحيح", "am": -9.161344528198242, "degenerate": false, "qwen": -563.6232299804688}]}
+{"file": "saudi_podcasts_000083.wav", "hyps": [{"text": "قلت له هذا رايك؟ قال انت والله يا ولدي ما تعرف مصلحتك، انا اعرف مصلحتك. هذا الحوار دقيقه تخيل حوار ما يتجاوز الدقيقه. سحبت بطاقه ثانيه وسجلت رياضيات اولا واحياء ثانيه ودرست اربع سنوات بامر حسن الطيرقي. يا ساتر وهذا 20 سنه بعدها رياضيات. طبعا انا احب الرياضيات لكني احب الاحياء اكثر منها. الى الان؟ والله شوف الان لا.", "am": -6.1986308097839355, "degenerate": false, "qwen": -484.0925598144531}, {"text": "قلت له هذا رايك؟ قال انت والله يا ولدي ما تعرف مصلحتك، انا اعرف مصلحتك. هذا الحوار دقيقه تخيل حوار ما يتجاوز الدقيقه. سحبت بطاقه ثانيه وسجلت رياضيات اولا واحياء ثانيه ودرست اربع سنوات بامر حسن الطيرقي. يا ساتر وهذا 20 سنه بعدها رياضيات طبعا انا احب الرياضيات لكني احب الاحياء اكثر منها. الى الان؟ والله شوف الان لا.", "am": -6.53135871887207, "degenerate": false, "qwen": -488.34759521484375}, {"text": "قلت له هذا رايك؟ قال انت والله يا ولدي ما تعرف مصلحتك، انا اعرف مصلحتك. هذا الحوار دقيقه تخيل حوار ما يتجاوز الدقيقه. سحبت بطاقه ثانيه وسجلت رياضيات اولا واحياء ثانيه ودرست اربع سنوات بامر حسن الطيرقي. يا ساتر وهذا 20 سنه بعدها رياضيات طبعا انا احب الرياضيات لكني احب الاحياء اكثر منها. الى الان؟ والله شوف الان لا", "am": -6.6481122970581055, "degenerate": false, "qwen": -489.72808837890625}, {"text": "قلت له هذا رايك؟ قال انت والله يا ولدي ما تعرف مصلحتك، انا اعرف مصلحتك. هذا الحوار دقيقه تخيل حوار ما يتجاوز الدقيقه. سحبت بطاقه ثانيه وسجلت رياضيات اولى واحياء ثانيه ودرست اربع سنوات بامر حسن الطيرقي. يا ساتر وهذا 20 سنه بعدها رياضيات. طبعا انا احب الرياضيات لكني احب الاحياء اكثر منها. الى الان؟ والله شوف الان لا.", "am": -6.746990203857422, "degenerate": false, "qwen": -487.637939453125}, {"text": "قلت له هذا رايك؟ قال انت والله يا ولدي ما تعرف مصلحتك، انا اعرف مصلحتك. هذا الحوار دقيقه تخيل حوار ما يتجاوز الدقيقه. سحبت بطاقه ثانيه وسجلت رياضيات اولى واحياء ثانيه ودرست اربع سنوات بامر حسن الطيرقي. يا ساتر وهذا 20 سنه بعدها رياضيات طبعا انا احب الرياضيات لكني احب الاحياء اكثر منها. الى الان؟ والله شوف الان لا.", "am": -7.061420440673828, "degenerate": false, "qwen": -492.4940185546875}, {"text": "قلت له هذا رايك؟ قال انت والله يا ولدي ما تعرف مصلحتك، انا اعرف مصلحتك. هذا الحوار دقيقه تخيل حوار ما يتجاوز الدقيقه. سحبت بطاقه ثانيه وسجلت رياضيات اولا واحياء ثانيه ودرست اربع سنوات بامر حسن الطيرقي. يا ساتر وهذا 20 سنه بعدها رياضيات. طبعا انا احب الرياضيات لكني احب الاحياء اكثر منها. الى الان؟ والله شوف الان لا", "am": -7.065371513366699, "degenerate": false, "qwen": -485.50408935546875}, {"text": "قلت له هذا رايك؟ قال انت والله يا ولدي ما تعرف مصلحتك، انا اعرف مصلحتك. هذا الحوار دقيقه تخيل حوار ما يتجاوز الدقيقه. سحبت بطاقه ثانيه وسجلت رياضيات اولا واحياء ثانيه ودرست اربع سنوات بامر حسن الطيرقي. يا ساتر، وهذا 20 سنه بعدها رياضيات. طبعا انا احب الرياضيات لكني احب الاحياء اكثر منها. الى الان؟ والله شوف الان لا.", "am": -7.205840587615967, "degenerate": false, "qwen": -488.0591735839844}, {"text": "قلت له هذا رايك؟ قال انت والله يا ولدي ما تعرف مصلحتك، انا اعرف مصلحتك. هذا الحوار دقيقه تخيل حوار ما يتجاوز الدقيقه. سحبت بطاقه ثانيه وسجلت رياضيات اولى واحياء ثانيه ودرست اربع سنوات بامر حسن الطيرقي. يا ساتر وهذا 20 سنه بعدها رياضيات طبعا انا احب الرياضيات لكني احب الاحياء اكثر منها. الى الان؟ والله شوف الان لا", "am": -7.302462577819824, "degenerate": false, "qwen": -493.82843017578125}]}
+{"file": "saudi_podcasts_000115.wav", "hyps": [{"text": "ف كل شيء مسجل علشان علشان تمشي المساله بطريقه بطريقه مخططه حلو هل تحس ان طريقه الكتابه والتدوين لها دور يعني انا بالنسبه لي اتخيل اني بطلع ابلكيشن ولا شيء وبحطها بجوالي انت لا طابعها في ورقه وش الفرق بين والله لا انا ما اقول لك ما في فرق بس انا رجل تقليدي لا زلت الى الان رجل تقليدي واحتفظ بهذه الاشياء هذا الان الملزمه هي خطه", "am": -8.428437232971191, "degenerate": false, "qwen": -532.2603759765625}, {"text": "ف كل شيء مسجل علشان علشان تمشي المساله بطريقه بطريقه مخططه حلو هل تحس ان طريقه الكتابه والتدوين لها دور؟ يعني انا بالنسبه لي اتخيل اني بطلع ابلكيشن ولا شيء وبحطها بجوالي انت لا طابعها في ورقه وش الفرق بين والله لا انا ما اقول لك ما في فرق بس انا رجل تقليدي لا زلت الى الان رجل تقليدي واحتفظ بهذه الاشياء هذا الان الملزمه هي خطه", "am": -9.145489692687988, "degenerate": false, "qwen": -537.3446044921875}, {"text": "ف كل شيء مسجل علشان علشان تمشي المساله بطريقه بطريقه مخططه حلو هل تحس ان طريقه الكتابه والتدوين لها دور يعني انا بالنسبه لي اتخيل اني بطلع ابلكيشن ولا شيء وبحطها بجوالي انت لا طابعها في ورقه وش الفرق بين والله لا انا ما اقول لك ما في فرق بس انا رجل تقليدي لا زلت الى الان رجل تقليدي واحتفظ بهذه الاشياء هذه الان الملزمه هي خطه", "am": -9.287461280822754, "degenerate": false, "qwen": -532.5009765625}, {"text": "ف كل شيء مسجل علشان علشان تمشي المساله بطريقه بطريقه مخططه حلو هل تحس ان طريقه الكتابه والتدوين لها دور؟ يعني انا بالنسبه لي اتخيل اني بطلع ابلكيشن ولا شيء وبحطها بجوالي انت لا طابعها في ورقه وش الفرق بين والله لا انا ما اقول لك ما في فرق بس انا رجل تقليدي لا زلت الى الان رجل تقليدي واحتفظ بهذه الاشياء هذه الان الملزمه هي خطه", "am": -9.873492240905762, "degenerate": false, "qwen": -537.3364868164062}, {"text": "ف كل شيء مسجل علشان علشان تمشي المساله بطريقه بطريقه مخططه حلو هل تحس ان طريقه الكتابه والتدوين لها دور يعني انا بالنسبه لي اتخيل اني بطلع ابلكيشن ولا شيء وبحطها بجوالي انت لا طابعها في ورقه وش الفرق بين والله لا انا ما اقول لك ما في فرق بس انا رجل تقليدي لا زلت الى الان رجل تقليدي واحتفظ بهذه الاشياء هذا الان ملزمه هي خطه", "am": -9.965812683105469, "degenerate": false, "qwen": -530.7452392578125}, {"text": "ف كل شيء مسجل علشان علشان تمشي المساله بطريقه بطريقه مخططه حلو هل تحس ان طريقه الكتابه والتدوين لها دور؟ يعني انا بالنسبه لي اتخيل اني بطلع ابلكيشن ولا شيء وبحطها بجوالي انت لا طابعها في ورقه، وش الفرق بين والله ��ا انا ما اقول لك ما في فرق بس انا رجل تقليدي لا زلت الى الان رجل تقليدي واحتفظ بهذه الاشياء هذا الان الملزمه هي خطه", "am": -10.107102394104004, "degenerate": false, "qwen": -544.2124633789062}, {"text": "ف كل شيء مسجل علشان علشان تمشي المساله بطريقه بطريقه مخططه حلو، هل تحس ان طريقه الكتابه والتدوين لها دور؟ يعني انا بالنسبه لي اتخيل اني بطلع ابلكيشن ولا شيء وبحطها بجوالي، انت لا طابعها في ورقه، وش الفرق بين والله لا انا ما اقول لك ما في فرق بس انا رجل تقليدي لا زلت الى الان رجل تقليدي واحتفظ بهذه الاشياء هذا الان الملزمه هي خطه", "am": -10.529064178466797, "degenerate": false, "qwen": -548.9486694335938}, {"text": "ف كل شيء مسجل علشان علشان تمشي المساله بطريقه بطريقه مخططه حلو هل تحس ان طريقه الكتابه والتدوين لها دور يعني انا بالنسبه لي اتخيل اني بطلع ابلكيشن ولا شيء وبحطها بجوالي انت لا طابعها في ورقه وش الفرق بين والله لا انا ما اقول لك ما في فرق بس انا رجل تقليدي لا زلت الى الان رجل تقليدي واحتفظ بهذه الاشياء هذا الان الملزمه هي خطة", "am": -10.82451057434082, "degenerate": false, "qwen": -533.245849609375}]}
+{"file": "saudi_podcasts_000122.wav", "hyps": [{"text": "ويقودك في هذه العمليه عن طريق اسئله. وهي هدفها انك تسوي خطه لحياتك بطريقه ما وانك تفهم وضعك الحالي. ففي البدايه يسالك يقول لك يلا بسم الله تخيل جنه جنه الحياه وجحيم الحياه حياتك في افضل حاله اللي اكثر شيء تتمناه. صف هذه الحياه. يا سلام الجنه بالنسبه لك في الحياه ما هي؟ فتقعد انت تحلم وتكتب وتكتب وتكتب ابغى كذا وكل واحد عنده تصور داخلي عن هذا ال", "am": -6.3338942527771, "degenerate": false, "qwen": -522.1796875}, {"text": "يقودك في هذه العمليه عن طريق اسئله. وهي هدفها انك تسوي خطه لحياتك بطريقه ما وانك تفهم وضعك الحالي. ففي البدايه يسالك يقول لك يلا بسم الله تخيل جنه جنه الحياه وجحيم الحياه حياتك في افضل حاله اللي اكثر شيء تتمناه. صف هذه الحياه. يا سلام الجنه بالنسبه لك في الحياه ما هي؟ فتقعد انت تحلم وتكتب وتكتب وتكتب ابغى كذا وكل واحد عنده تصور داخلي عن هذا ال", "am": -6.359781265258789, "degenerate": false, "qwen": -520.6834106445312}, {"text": "ويقودك في هذه العمليه عن طريق اسئله. وهي هدفها انك تسوي خطه لحياتك بطريقه ما وانك تفهم وضعك الحالي. ففي البدايه يسالك يقول لك يلا بسم الله تخيل جنه جنه الحياه وجحيم الحياه حياتك في افضل حاله اللي اكثر شيء تتمناه. صف هذه الحياه. يا سلام الجنه بالنسبه لك في الحياه ما هي؟ فتقعد انت تحلم وتكتب وتكتب وتكتب وابغى كذا وكل واحد عنده تصور داخلي عن هذا ال", "am": -6.706113338470459, "degenerate": false, "qwen": -525.6243286132812}, {"text": "يقودك في هذه العمليه عن طريق اسئله. وهي هدفها انك تسوي خطه لحياتك بطريقه ما وانك تفهم وضعك الحالي. ففي البدايه يسالك يقول لك يلا بسم الله تخيل جنه جنه الحياه وجحيم الحياه حياتك في افضل حاله اللي اكثر شيء تتمناه. صف هذه الحياه. يا سلام الجنه بالنسبه لك في الحياه ما هي؟ فتقعد انت تحلم وتكتب وتكتب وتكتب وابغى كذا وكل واحد عنده تصور داخلي عن هذا ال", "am": -6.720580101013184, "degenerate": false, "qwen": -525.048583984375}, {"text": "يقودك في هذه العمليه عن طريق اسئله. وهي هدفها انك تسوي خطه لحياتك بطريقه ما وانك تفهم وضعك الحالي. ففي البدايه يسالك يقول لك يلا بسم الله تخيل جنه جنه الحياه وجحيم الحياه حياتك في افضل حاله اللي اكثر شيء تتمناه. صف هذه الحياه. يا سلام. الجنه بالنسبه لك في الحياه ما هي؟ فتقعد انت تحلم وتكتب وتكتب وتكتب ابغى كذا وكل واحد عنده تصو�� داخلي عن هذا ال", "am": -7.029944896697998, "degenerate": false, "qwen": -522.376953125}, {"text": "ويقودك في هذه العمليه عن طريق اسئله. وهي هدفها انك تسوي خطه لحياتك بطريقه ما وانك تفهم وضعك الحالي. ففي البدايه يسالك يقول لك يلا بسم الله تخيل جنه جنه الحياه وجحيم الحياه حياتك في افضل حاله اللي اكثر شيء تتمناه. صف هذه الحياه. يا سلام. الجنه بالنسبه لك في الحياه ما هي؟ فتقعد انت تحلم وتكتب وتكتب وتكتب ابغى كذا وكل واحد عنده تصور داخلي عن هذا ال", "am": -7.135889053344727, "degenerate": false, "qwen": -523.1636962890625}, {"text": "يقودك في هذه العمليه عن طريق اسئله وهي هدفها انك تسوي خطه لحياتك بطريقه ما وانك تفهم وضعك الحالي. ففي البدايه يسالك يقول لك يلا بسم الله تخيل جنه جنه الحياه وجحيم الحياه حياتك في افضل حاله اللي اكثر شيء تتمناه. صف هذه الحياه. يا سلام الجنه بالنسبه لك في الحياه ما هي؟ فتقعد انت تحلم وتكتب وتكتب وتكتب ابغى كذا وكل واحد عنده تصور داخلي عن هذا ال", "am": -7.2520952224731445, "degenerate": false, "qwen": -517.1553344726562}, {"text": "يقودك في هذه العمليه عن طريق اسئله. وهي هدفها انك تسوي خطه لحياتك بطريقه ما وانك تفهم وضعك الحالي. ففي البدايه يسالك يقول لك يلا بسم الله تخيل جنه جنه الحياه وجحيم الحياه حياتك في افضل حاله اللي اكثر شيء تتمناه. صف هذه الحياه. يا سلام. الجنه بالنسبه لك في الحياه ما هي؟ فتقعد انت تحلم وتكتب وتكتب وتكتب وابغى كذا وكل واحد عنده تصور داخلي عن هذا ال", "am": -7.392237663269043, "degenerate": false, "qwen": -526.220703125}]}
+{"file": "saudi_podcasts_000190.wav", "hyps": [{"text": "في قضايا ثانيه امم يعني انا اودعته السجن العام او بفروعه او اي منطقه امم لا يعني اني ادري اتابع والله صار عليك كذا كذا الا اذا جت اوراق معينه لاجرائه امم لكن وش صار؟ نسمع مثل الناس في بيان ولا انه انسجن لا لا بس خوينا فلت يعني منك ربما جابوه اه وان شاء الله انه جابوه اوكي لكن كان اجتهاد وانا مجتهد والله فكنت تبغاه يجي لدوله خليجيه او", "am": -10.77086067199707, "degenerate": false, "qwen": -607.7161865234375}, {"text": "قضايا ثانيه امم يعني انا اودعته السجن العام او بفروعه او اي منطقه امم لا يعني اني ادري اتابع والله صار عليك كذا كذا الا اذا جت اوراق معينه لاجرائه امم لكن وش صار؟ نسمع مثل الناس في بيان ولا ان انسجن لا لا بس خوينا فلت يعني منك ربما جابوه اه وان شاء الله انه جابوه اوكي لكن كان اجتهاد وانا مجتهد والله فكنت تبغاه يجي لدوله خليجيه او", "am": -10.815436363220215, "degenerate": false, "qwen": -608.4835205078125}, {"text": "في قضايا ثانيه امم يعني انا اودعته السجن العام او بفروعه او اي منطقه امم لا يعني اني ادري اتابع والله صار عليك كذا كذا الا اذا جت اوراق معينه لاجرائه امم لكن وش صار؟ نسمع مثل الناس في بيان ولا ان انسجن لا لا بس خوينا فلت يعني منك ربما جابوه اه وان شاء الله انه جابوه اوكي لكن كان اجتهاد وانا مجتهد والله فكنت تبغاه يجي لدوله خليجيه او", "am": -10.862565040588379, "degenerate": false, "qwen": -608.4080810546875}, {"text": "في قضايا ثانيه. امم. يعني انا اودعته السجن العام. او بفروعه او اي منطقه. امم. لا يعني اني ادري اتابع والله صار عليك كذا كذا الا اذا جت اوراق معينه لاجرائه. امم. لكن وش صار؟ نسمع مثل الناس في بيان ولا انه انسجن. لا لا بس خوينا فلت يعني منك. ربما جابوه. اه. وان شاء الله انه جابوه. اوكي. لكن كان اجتهاد وانا مجتهد والله. فكنت تبغاه يجي لدوله خليجيه او.", "am": -11.520906448364258, "degenerate": false, "qwen": -635.0045776367188}, {"text": "في قضايا ثانيه. امم. يعني انا اودعته السجن العام. او بفروعه او اي منطقه. امم. لا يعني اني ادري اتابع والله صار عليك كذا كذا الا اذا جت اوراق معينه لاجرائه. امم. لكن وش صار؟ نسمع مثل الناس في بيان ولا ان انسجن. لا لا بس خوينا فلت يعني منك. ربما جابوه. اه. وان شاء الله انه جابوه. اوكي. لكن كان اجتهاد وانا مجتهد والله. فكنت تبغاه يجي لدوله خليجيه او.", "am": -11.857931137084961, "degenerate": false, "qwen": -635.8552856445312}, {"text": "في قضايا ثانيه. امم. يعني انا اودعته السجن العام. او بفروعه او اي منطقه. امم. لا يعني اني ادري اتابع والله صار عليك كذا كذا الا اذا جت اوراق معينه لاجراءه. امم. لكن وش صار؟ نسمع مثل الناس في بيان ولا انه انسجن. لا لا بس خوينا فلت يعني منك. ربما جابوه. اه. وان شاء الله انه جابوه. اوكي. لكن كان اجتهاد وانا مجتهد والله. فكنت تبغاه يجي لدوله خليجيه او.", "am": -12.050345420837402, "degenerate": false, "qwen": -637.646484375}, {"text": "قضايا ثانيه. امم. يعني انا اودعته السجن العام. او بفروعه او اي منطقه. امم. لا يعني اني ادري اتابع والله صار عليك كذا كذا الا اذا جت اوراق معينه لاجرائه. امم. لكن وش صار؟ نسمع مثل الناس في بيان ولا انه انسجن. لا لا بس خوينا فلت يعني منك. ربما جابوه. اه. وان شاء الله انه جابوه. اوكي. لكن كان اجتهاد وانا مجتهد والله. فكنت تبغاه يجي لدوله خليجيه او.", "am": -12.101439476013184, "degenerate": false, "qwen": -632.0194091796875}, {"text": "في قضايا ثانيه. امم. يعني انا اودعته السجن العام. او بفروعه او اي منطقه. امم. لا يعني اني ادري اتابع والله صار عليك كذا كذا الا اذا جت اوراق معينه لاجرائه. امم. لكن وش صار؟ نسمع مثل الناس في بيان ولا انه انسجن. لا لا بس خوينا فلت يعني منك. ربما جابوه. اه. وان شاء الله انه جابوه. اوكي. لكن كان اجتهاد وانا مجتهد والله. فكنت تبغاه يجي لدوله خليجيه او", "am": -12.129947662353516, "degenerate": false, "qwen": -634.7819213867188}]}
+{"file": "saudi_podcasts_000158.wav", "hyps": [{"text": "قلت انا بعده يعني سيراوي هذه مقصوده لا لا بس والله الناس يعني يعني ودها تسمع هالقصص يعني في بعضها ممكن يستفيدون من اشياء وفي قصص حلوه يعني الناس تستمتع فيها ودنا واني اكرمتنا والله بجيتك يعني لا والله صح انك خليتني لاحق اشهر لاحقني اشهر وانا كل ما اتصلت بغصني اتهرب ولكن ما في اليد حيله انت من الحلوين الله يسلمك اسلم اسلم طال عمرك سلمت الحين ليش ينقولون نقلوكم من الدوري", "am": -22.572017669677734, "degenerate": false, "qwen": -637.033203125}, {"text": "قلت انا بعده يعني سيراوي هذه مقصوده لا لا بس والله الناس يعني يعني ودها تسمع هالقصص يعني في بعضها ممكن يستفيدون من اشياء وفي قصص حلوه يعني الناس تستمتع فيها ودنا اني اكرمتنا والله بجيتك يعني لا والله صح انك خليتني لاحق اشهر لاحقني اشهر وانا كل ما اتصلت بغصني اتهرب ولكن ما في اليد حيله انت من الحلوين الله يسلمك اسلم اسلم طال عمرك سلمت الحين ليش ينقولون نقلوكم من الدوري", "am": -22.601778030395508, "degenerate": false, "qwen": -631.906982421875}, {"text": "قلت انا بعده يعني سيراوي هذه مقصوده لا لا بس والله الناس يعني يعني ودها تسمع هالقصص يعني في بعضها ممكن يستفيدون من اشياء وفي قصص حلوه يعني الناس تستمتع فيها ودنا واني اكرمتنا والله بجيتك يعني لا والله صح انك خليتني لاحق اشهر لاحقني اشهر وانا كل ما اتصلت بغصني اتهرب ولكن ما في اليد حيله انت من الحلوين الله يسعدك اسلم اسلم طال عمرك سلمت الحين ليش ينقولون نقلوكم من الدوري", "am": -22.602930068969727, "degenerate": false, "qwen": -636.2677612304688}, {"text": "قلت انا بعده يعني سيراوي هذه مقص��ده لا لا بس والله الناس يعني يعني ودها تسمع هالقصص يعني في بعضها ممكن يستفيدون من اشياء وفي قصص حلوه يعني الناس تستمتع فيها ودنا واني اكرمتنا والله بجيتك يعني لا والله صح انك خليتني لاحق اشهر لاحقني اشهر وانا كل ما اتصلت بغصني اتهرب ولكن ما في اليد حيله انت من الحلوين الله يسلمك اسلم اسلم طال عمرك سلمت الحين ليش ينقولون نقلوكم من الدوله", "am": -22.6613826751709, "degenerate": false, "qwen": -638.3243408203125}, {"text": "قلت انا بعده يعني سيراوي هذه مقصوده لا لا بس والله الناس يعني يعني ودها تسمع هالقصص يعني في بعضها ممكن يستفيدون من اشياء وفي قصص حلوه يعني الناس تستمتع فيها ودنا اني اكرمتنا والله بجيتك يعني لا والله صح انك خليتني لاحق اشهر لاحقني اشهر وانا كل ما اتصلت بغصني اتهرب ولكن ما في اليد حيله انت من الحلوين الله يسلمك اسلم اسلم طال عمرك سلمت الحين ليش ينقولون نقلوكم من الدوله", "am": -22.684770584106445, "degenerate": false, "qwen": -633.053955078125}, {"text": "قلت انا بعده يعني سيراوي هذه مقصوده لا لا بس والله الناس يعني يعني ودها تسمع هالقصص يعني في بعضها ممكن يستفيدون من اشياء وفي قصص حلوه يعني الناس تستمتع فيها ودنا اني اكرمتنا والله بجيتك يعني لا والله صح انك خليتني لاحق اشهر لاحقني اشهر وانا كل ما اتصلت بغصني اتهرب ولكن ما في اليد حيله انت من الحلوين الله يسعدك اسلم اسلم طال عمرك سلمت الحين ليش ينقولون نقلوكم من الدوري", "am": -22.73431968688965, "degenerate": false, "qwen": -631.1064453125}, {"text": "قلت انا بعده يعني سيراوي هذه مقصوده لا لا بس والله الناس يعني يعني ودها تسمع هالقصص يعني في بعضها ممكن يستفيدون من اشياء وفي قصص حلوه يعني الناس تستمتع فيها ودنا واني اكرمتنا والله بجيتك يعني لا والله صح انك خليتني لاحق اشهر لاحقني اشهر وانا كل ما اتصلت بغصني اتهرب ولكن ما في اليد حيله انت من الحلوين الله يسعدك اسلم اسلم طال عمرك سلمت الحين ليش ينقولون نقلوكم من الدوله", "am": -22.775423049926758, "degenerate": false, "qwen": -637.6968383789062}, {"text": "قلت انا بعده يعني سيراوي هذه مقصوده لا لا بس والله الناس يعني يعني ودها تسمع هالقصص يعني في بعضها ممكن يستفيدون من اشياء وفي قصص حلوه يعني الناس تستمتع فيها ودنا اني اكرمتنا والله بجيتك يعني لا والله صح انك خليتني لاحق اشهر لاحقني اشهر وانا كل ما اتصلت بغصني بطل اتهرب ولكن ما في اليد حيله انت من الحلوين الله يسعدك اسلم اسلم طال عمرك سلمت الحين ليش ينقولون نقلوكم من الدوري", "am": -23.353515625, "degenerate": false, "qwen": -642.111083984375}]}
+{"file": "saudi_podcasts_000145.wav", "hyps": [{"text": "نهاب العم الله يرحمه الوالد متوفي وانا عمري سنتين فهو اللي متوليها حقيقه ما يقصر علينا في في التربيه وكنا نهابه الله يجعله جنات النعيم فبالتالي دريت انا جاي عارف انا من عيونه انه زعلان ومعاه الورقه انا انحشت الصحيح دريت ان الدعوه قال خلاص ما عليك بما معناه المهم رجعت للوالده الله يرحمها يوم درتني", "am": -6.515056610107422, "degenerate": false, "qwen": -526.3125}, {"text": "نهاب العم الله يرحمه الوالد متوفي وانا عمري سنتين فهو اللي متوليها حقيقه ما يقصر علينا في في التربيه و وكنا نهابه الله يجعله جنات النعيم فبالتالي دريت انا جاي عارف انا من عيونه انه زعلان ومعاه الورقه انا انحشت الصحيح دريت ان الدعوه قال خلاص ما عليك بما معناه المهم رجعت للوالده الله يرحمها يوم درتني", "am": -7.458856582641602, "degenerate": false, "qwen": -534.8795166015625}, {"text": "نهاب العمه الله يرحمه الوالد متوفي وانا عمري سنتين فهو اللي متوليها حقيقه ما يقصر علينا في في التربيه وكنا نهابه الله يجعله جنات النعيم فبالتالي دريت انا جاي عارف انا من عيونه انه زعلان ومعاه الورقه انا انحشت الصحيح دريت ان الدعوه قال خلاص ما عليك بما معناه المهم رجعت للوالده الله يرحمها يوم درتني", "am": -7.579031467437744, "degenerate": false, "qwen": -524.6716918945312}, {"text": "نهاب العم الله يرحمه الوالد متوفي وانا عمري سنتين فهو اللي متوليها حقيقه ما يقصر علينا في في التربيه وكنا نهابه الله يجعله جنات النعيم فبالتالي دريت انا جاي عارف انا من عيونه انه زعلان ومعاه هالورقه انا انحشت الصحيح دريت ان الدعوه قال خلاص ما عليك بما معناه المهم رجعت للوالده الله يرحمها يوم درتني", "am": -7.615162372589111, "degenerate": false, "qwen": -534.692138671875}, {"text": "نهاب العم الله يرحمه الوالد متوفي وانا عمري سنتين فهو اللي متوليها حقيقه ما يقصر علينا في في التربيه ووكنا نهابه الله يجعله جنات النعيم فبالتالي دريت انا جاي عارف انا من عيونه انه زعلان ومعاه الورقه انا انحشت الصحيح دريت ان الدعوه قال خلاص ما عليك بما معناه المهم رجعت للوالده الله يرحمها يوم درتني", "am": -7.864632606506348, "degenerate": false, "qwen": -533.9091796875}, {"text": "نهاب العم الله يرحمه الوالد متوفي وانا عمري سنتين فهو اللي متوليها حقيقه ما يقصر علينا في في التربيه وكنا نهابه الله يجعله جنات النعيم فبالتالي دريت انا جاي اعرف انا من عيونه انه زعلان ومعاه الورقه انا انحشت الصحيح دريت ان الدعوه قال خلاص ما عليك بما معناه المهم رجعت للوالده الله يرحمها يوم درتني", "am": -7.8901448249816895, "degenerate": false, "qwen": -525.3516845703125}, {"text": "نهاب العم الله يرحمه الوالد متوفي وانا عمري سنتين فهو اللي متوليها حقيقه ما يقصر علينا في في التربيه وكنا نهابه. الله يجعله جنات النعيم فبالتالي دريت انا جاي عارف انا من عيونه انه زعلان ومعاه الورقه انا انحشت الصحيح دريت ان الدعوه قال خلاص ما عليك بما معناه المهم رجعت للوالده الله يرحمها يوم درتني", "am": -8.358694076538086, "degenerate": false, "qwen": -534.9298095703125}, {"text": "نهاب العم الله يرحمه الوالد متوفي وانا عمري سنتين فهو اللي متوليها حقيقه ما يقصر علينا في في التربيه وكنا نهابه الله يجعله جنات النعيم فبالتالي دريت انا جاي عارف انا من عيونه انه زعلان ومعاه الورقه انا انحشت الصحيح دريت ان الدعوه قال خلاص ما عليك بما معناه المهم رجعت للوالده الله يرحمها يوم درت اني", "am": -8.605613708496094, "degenerate": false, "qwen": -526.683837890625}]}
+{"file": "saudi_podcasts_000147.wav", "hyps": [{"text": "الساعة 6:00 وخط جميل قضيت معهم 4 شهور يوم لمحت لهم اني بمشي خلاص تعاقد انتهى قالوا لا احنا نبيك تستمر موظف رسمي انت بتاخذ الرابعة وبعدها ننقصك الخامسة السادسة الامور سهلات لاني اجي مع الحارس انا اللي افتح الباب احيانا ما يجون الساعة 8:00 الا البيانات مسجلة وبخط جميل ما كان فيه طوابع ولا كان فيه ايميلات ولا كنت اهتم بال", "am": -9.742133140563965, "degenerate": false, "qwen": -531.2444458007812}, {"text": "الساعة 6 وخط جميل قضيت معهم 4 شهور يوم لمحت لهم اني بمشي خلاص تعاقد انتهى قالوا لا احنا نبيك تستمر موظف رسمي انت بتاخذ الرابعة وبعدها ننقصك الخامسة السادسة الامور سهلات لاني اجي مع الحارس انا اللي افتح الباب احيانا ما يجون الساعة 8 الا البيانات مسجلة وبخط جميل ما كان فيه طوابع ولا كان فيه ايميلات ولا كنت اهتم بال", "am": -9.904139518737793, "degenerate": false, "qwen": -528.6151123046875}, {"text": "الساعة 6:00 وخط جميل قضيت معهم اربع شهور يوم ��محت لهم اني بمشي خلاص تعاقد انتهى قالوا لا احنا نبيك تستمر موظف رسمي انت بتاخذ الرابعة وبعدها ننقصك الخامسة السادسة الامور سهلات لاني اجي مع الحارس انا اللي افتح الباب احيانا ما يجون الساعة 8:00 الا البيانات مسجلة وبخط جميل ما كان فيه طوابع ولا كان فيه ايميلات ولا كنت اهتم بال", "am": -9.9251127243042, "degenerate": false, "qwen": -532.3846435546875}, {"text": "الساعة 6:00 وخط جميل قضيت معهم 4 شهور يوم لمحت لهم اني بمشي خلاص تعاقد انتهى قالوا لا احنا نبيك تستمر موظف رسمي انت تبي تاخذ الرابعة وبعدها ننقصك الخامسة السادسة الامور سهلات لاني اجي مع الحارس انا اللي افتح الباب احيانا ما يجون الساعة 8:00 الا البيانات مسجلة وبخط جميل ما كان فيه طوابع ولا كان فيه ايميلات ولا كنت اهتم بال", "am": -9.986197471618652, "degenerate": false, "qwen": -538.1484375}, {"text": "الساعة 6 وخط جميل قضيت معهم 4 شهور يوم لمحت لهم اني بمشي خلاص تعاقد انتهى قالوا لا احنا نبيك تستمر موظف رسمي انت تبي تاخذ الرابعة وبعدها ننقصك الخامسة السادسة الامور سهلات لاني اجي مع الحارس انا اللي افتح الباب احيانا ما يجون الساعة 8 الا البيانات مسجلة وبخط جميل ما كان فيه طوابع ولا كان فيه ايميلات ولا كنت اهتم بال", "am": -10.031846046447754, "degenerate": false, "qwen": -534.640625}, {"text": "الساعة 6:00 وخط جميل قضيت معهم اربع شهور يوم لمحت لهم اني بمشي خلاص تعاقد انتهى قالوا لا احنا نبيك تستمر موظف رسمي انت بتاخذ الرابعه وبعدها ننقصك الخامسه السادسه الامور سهلات لاني اجي مع الحارس انا اللي افتح الباب احيانا ما يجون الساعه 8:00 الا البيانات مسجله وبخط جميل ما كان فيه طوابع ولا كان فيه ايميلات ولا كنت اهتم بال", "am": -10.179725646972656, "degenerate": false, "qwen": -539.231689453125}, {"text": "الساعة 6:00 وخط جميل قضيت معهم اربع شهور يوم لمحت لهم اني بمشي خلاص تعاقد انتهى قالوا لا احنا نبيك تستمر موظف رسمي انت بتاخذ الرابعة وبعدها ننقصك الخامسة السادسة الامور سهلات لاني اجي مع مع الحارس انا اللي افتح الباب احيانا ما يجون الساعة 8:00 الا البيانات مسجلة وبخط جميل ما كان فيه طوابع ولا كان فيه ايميلات ولا كنت اهتم بال", "am": -10.198593139648438, "degenerate": false, "qwen": -541.1083984375}, {"text": "الساعة 6:00 وخط جميل قضيت معهم 4 شهور يوم لمحت لهم اني بمشي خلاص تعاقد انتهى قالوا لا احنا نبيك تستمر موظف رسمي انت بتاخذ الرابعة وبعدها ننقصك الخامسة السادسة الامور سهلات لاني اجي مع الحارس انا اللي افتح الباب احيانا ما يجون الساعة 8:00 الا البيانات مسجلة وبخط جميل ما كان فيه طوابع ولا كان في ايميلات ولا كنت اهتم بال", "am": -10.348669052124023, "degenerate": false, "qwen": -535.22802734375}]}

paper_artifacts/nbest/masc_test_clean.jsonl

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:c023e121c0ef221ae95c5b313e514d99a8da2a2cb2108154754822415f5f7768
+size 12066464

paper_artifacts/nbest/masc_test_noisy.jsonl

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:2f0585dd4df4d52c37a796113821611785a29214ac31a7cc24257bf8c187d26a
+size 12302719

sygma_asr.py

@@ -25,6 +25,7 @@ import soundfile as sf
 import torch
 
 BASE_MODEL = "CohereLabs/cohere-transcribe-arabic-07-2026"
+BASE_REVISION = "c3e911b42149bf7a1e53d5cef9878aee87515a23"  # the base-model revision used for all paper results
 SR = 16000
 BETA = 1.0
 BEAMS = 8
@@ -59,10 +60,49 @@ def is_degenerate(text):
 
 
 def _words(text):
+    """Deployment-mode word count: punctuation replaced by spaces on the raw text."""
     t = re.sub(r"[!\"#$%&'()*+,\-./:;<=>?@\[\\\]^_`{|}~،؛؟]", " ", text)
     return len(t.split())
 
 
+def normalize_arabic_text(text):
+    """The Open Universal Arabic ASR Leaderboard's eval.py normalization (verbatim)."""
+    text = re.sub(r'[!"#$%&\'()*+,\-./:;<=>?@\[\\\]^_`{|}~،؛؟]', '', text)
+    text = re.sub(r'[ً-ْ]', '', text)
+    text = re.sub('پ', 'ب', text)
+    text = re.sub('ڤ', 'ف', text)
+    text = re.sub(r'[آ]', 'ا', text)
+    text = re.sub(r'[أإ]', 'ا', text)
+    text = re.sub(r'[ؤ]', 'و', text)
+    text = re.sub(r'[ئ]', 'ي', text)
+    text = re.sub(r'[ء]', '', text)
+    for e, w in zip('٠١٢٣٤٥٦٧٨٩', '0123456789'):
+        text = text.replace(e, w)
+    text = re.sub(r'(^|\s)و\s+', r'\1و', text)
+    return re.sub(r'\s+', ' ', text).strip()
+
+
+def select_hypothesis(hyps, beta=BETA, mode="benchmark", use_filter=True):
+    """Pick one hypothesis from an N-best list of (text, summed log-prob) pairs.
+
+    mode="benchmark" reproduces the paper exactly: words are counted after the leaderboard
+    normalization, and if every hypothesis is degenerate all of them are re-ranked.
+    mode="deployment" counts words on punctuation-stripped raw text and returns None when every
+    hypothesis is degenerate (the caller then repairs or keeps the top beam hypothesis).
+    use_filter=False disables the breakdown filter (the paper's reward-only configuration).
+
+        select_hypothesis(hyps, 1.0, "benchmark", use_filter=False)  # reward only (primary result)
+        select_hypothesis(hyps, 1.0, "benchmark", use_filter=True)   # Sygma (reward + filter)
+        select_hypothesis(hyps, 0.0, "benchmark", use_filter=False)  # Beam-8 top
+    """
+    good = [h for h in hyps if not (use_filter and is_degenerate(h[0]))]
+    if mode == "benchmark":
+        return max(good or hyps, key=lambda h: h[1] + beta * len(normalize_arabic_text(h[0]).split()))[0]
+    if mode == "deployment":
+        return max(good, key=lambda h: h[1] + beta * _words(h[0]))[0] if good else None
+    raise ValueError(f"unknown mode {mode!r}")
+
+
 def _load_cohere(device):
     """Load the Cohere processor + model the way its repo code expects (transformers 4.x)."""
     import sys
@@ -70,7 +110,7 @@ def _load_cohere(device):
     import transformers
     from huggingface_hub import snapshot_download
 
-    local = snapshot_download(BASE_MODEL)  # weights, tokenizer and mel-filterbank buffers (Cohere, unchanged)
+    local = snapshot_download(BASE_MODEL, revision=BASE_REVISION)  # weights, tokenizer, mel buffers (Cohere, unchanged)
     sys.path.insert(0, str(Path(__file__).resolve().parent))
     # cohere_asr/ = Cohere's Apache-2.0 model code, vendored; one change: GenerationMixin added (see NOTICE)
     from cohere_asr.modeling_cohere_asr import CohereAsrForConditionalGeneration
@@ -93,10 +133,17 @@ def _load_cohere(device):
 
 
 class SygmaASR:
-    def __init__(self, device=None, beta=BETA, beams=BEAMS, punctuation=True, repair=False):
+    def __init__(self, device=None, beta=BETA, beams=BEAMS, punctuation=True, repair=False, mode="benchmark",
+                 use_filter=True):
+        """mode="benchmark" (default) is the configuration evaluated in the paper; mode="deployment"
+        is the earlier released behaviour and is required for repair=True."""
+        if mode not in ("benchmark", "deployment"):
+            raise ValueError(f"unknown mode {mode!r}")
+        if repair and mode != "deployment":
+            raise ValueError("repair=True is only available with mode='deployment'")
         self.device = device or ("cuda" if torch.cuda.is_available() else "cpu")
         self.processor, self.model = _load_cohere(self.device)
-        self.beta, self.beams, self.repair = beta, beams, repair
+        self.beta, self.beams, self.repair, self.mode, self.use_filter = beta, beams, repair, mode, use_filter
         self.prompt = self.model.build_prompt(language="ar", punctuation=punctuation)
         self.amp = self.device.startswith("cuda")
 
@@ -120,9 +167,9 @@ class SygmaASR:
         results = []
         for i in range(len(batch)):
             hyps = list(zip(texts[i * self.beams:(i + 1) * self.beams], scores[i * self.beams:(i + 1) * self.beams]))
-            good = [h for h in hyps if not is_degenerate(h[0])]
-            if good:
-                results.append(max(good, key=lambda h: h[1] + self.beta * _words(h[0]))[0])
+            pick = select_hypothesis(hyps, self.beta, self.mode, self.use_filter)
+            if pick is not None:
+                results.append(pick)
                 continue
             fixed = None
             for fb in (FALLBACKS if self.repair else []):