oddadmix commited on
Commit
e982c21
·
verified ·
1 Parent(s): 96242ce

Serve Nawah-Router-v3 (250K corpus, 12 routing axes)

Browse files

0.9305 unseen category sets / 0.6976 unseen domains, up from 0.9199 / 0.6665.
Adds unseen-axis figures to the footer.

Files changed (3) hide show
  1. README.md +5 -4
  2. app.py +1 -1
  3. static/index.html +3 -2
README.md CHANGED
@@ -19,11 +19,12 @@ Edit any category inline, add or remove lanes, and the routing updates as you ty
19
 
20
  | eval set | accuracy | random |
21
  |---|---:|---:|
22
- | unseen category sets | **0.9199** | 0.2525 |
23
- | unseen domains | 0.6665 | 0.2524 |
24
- | deliberately adjacent categories | 0.9149 | 0.2628 |
 
25
 
26
- Model: [`oddadmix/Nawah-Router-v2`](https://huggingface.co/oddadmix/Nawah-Router-v2) — 52M
27
  parameters, CPU-only, one forward pass regardless of how many categories you give it.
28
 
29
  Confidence is not calibrated: clear cases saturate near 100%. Use the ranking, not the number.
 
19
 
20
  | eval set | accuracy | random |
21
  |---|---:|---:|
22
+ | unseen category sets | **0.9305** | 0.2137 |
23
+ | unseen domains | 0.6976 | 0.2521 |
24
+ | **unseen axes** (dimensions absent from training) | 0.6130 | 0.2358 |
25
+ | deliberately adjacent categories | 0.9008 | 0.2109 |
26
 
27
+ Model: [`oddadmix/Nawah-Router-v3`](https://huggingface.co/oddadmix/Nawah-Router-v3) — 52M
28
  parameters, CPU-only, one forward pass regardless of how many categories you give it.
29
 
30
  Confidence is not calibrated: clear cases saturate near 100%. Use the ranking, not the number.
app.py CHANGED
@@ -16,7 +16,7 @@ from transformers import AutoTokenizer
16
 
17
  from routing_model import MAX_ROUTES, RouterModel, build_text, route
18
 
19
- MODEL_ID = os.environ.get("MODEL_ID", "oddadmix/Nawah-Router-v2")
20
  HF_TOKEN = os.environ.get("MODEL_HF_TOKEN") or os.environ.get("HF_TOKEN")
21
 
22
  print(f"[*] loading {MODEL_ID}", flush=True)
 
16
 
17
  from routing_model import MAX_ROUTES, RouterModel, build_text, route
18
 
19
+ MODEL_ID = os.environ.get("MODEL_ID", "oddadmix/Nawah-Router-v3")
20
  HF_TOKEN = os.environ.get("MODEL_HF_TOKEN") or os.environ.get("HF_TOKEN")
21
 
22
  print(f"[*] loading {MODEL_ID}", flush=True)
static/index.html CHANGED
@@ -62,8 +62,9 @@
62
  <footer>
63
  <p>
64
  الفئات ليست ثابتة في النموذج — اكتب أي فئة تريدها وسيوزّع النص عليها فورًا.
65
- الدقة <strong>0.92</strong> على مجموعات فئات جديدة، و<strong>0.67</strong> على مجالات لم يرها
66
- النموذج إطلاقًا (التخمين العشوائي ≈ 0.25). الثقة غير مُعايَرة: اعتمد على الترتيب لا على النسبة.
 
67
  </p>
68
  <p class="mono links">
69
  <a href="https://huggingface.co/oddadmix/Nawah-Router-v2" target="_blank" rel="noopener">النموذج</a> ·
 
62
  <footer>
63
  <p>
64
  الفئات ليست ثابتة في النموذج — اكتب أي فئة تريدها وسيوزّع النص عليها فورًا.
65
+ الدقة <strong>0.93</strong> على مجموعات فئات جديدة، و<strong>0.70</strong> على مجالات لم يرها
66
+ النموذج، و<strong>0.61</strong> على محاور توجيه غائبة عن التدريب تمامًا (التخمين العشوائي ≈ 0.24).
67
+ الثقة غير مُعايَرة: اعتمد على الترتيب لا على النسبة.
68
  </p>
69
  <p class="mono links">
70
  <a href="https://huggingface.co/oddadmix/Nawah-Router-v2" target="_blank" rel="noopener">النموذج</a> ·