Turan0k commited on
Commit
b5239f7
·
verified ·
1 Parent(s): a59035b

MAIN Lab showcase

Browse files
Files changed (4) hide show
  1. .gitattributes +1 -0
  2. README.md +7 -7
  3. benchmark.png +3 -0
  4. index.html +79 -19
.gitattributes CHANGED
@@ -33,3 +33,4 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
33
  *.zip filter=lfs diff=lfs merge=lfs -text
34
  *.zst filter=lfs diff=lfs merge=lfs -text
35
  *tfevents* filter=lfs diff=lfs merge=lfs -text
 
 
33
  *.zip filter=lfs diff=lfs merge=lfs -text
34
  *.zst filter=lfs diff=lfs merge=lfs -text
35
  *tfevents* filter=lfs diff=lfs merge=lfs -text
36
+ benchmark.png filter=lfs diff=lfs merge=lfs -text
README.md CHANGED
@@ -1,10 +1,10 @@
1
  ---
2
- title: Az Steer
3
- emoji: 👀
4
- colorFrom: red
5
- colorTo: blue
6
  sdk: static
7
- pinned: false
 
 
8
  ---
9
-
10
- Check out the configuration reference at https://huggingface.co/docs/hub/spaces-config-reference
 
1
  ---
2
+ title: Azerbaijani Steer
3
+ emoji: 🧪
4
+ colorFrom: blue
5
+ colorTo: indigo
6
  sdk: static
7
+ pinned: true
8
+ license: apache-2.0
9
+ short_description: 128 weights changed, Turkish drift cut 42% to 18%
10
  ---
 
 
benchmark.png ADDED

Git LFS Details

  • SHA256: e629b7312133be088f245741ea457f638f704278ae1734ddca1eec4342132b8a
  • Pointer size: 131 Bytes
  • Size of remote file: 341 kB
index.html CHANGED
@@ -1,19 +1,79 @@
1
- <!doctype html>
2
- <html>
3
- <head>
4
- <meta charset="utf-8" />
5
- <meta name="viewport" content="width=device-width" />
6
- <title>My static Space</title>
7
- <link rel="stylesheet" href="style.css" />
8
- </head>
9
- <body>
10
- <div class="card">
11
- <h1>Welcome to your static Space!</h1>
12
- <p>You can modify this app directly by editing <i>index.html</i> in the Files and versions tab.</p>
13
- <p>
14
- Also don't forget to check the
15
- <a href="https://huggingface.co/docs/hub/spaces" target="_blank">Spaces documentation</a>.
16
- </p>
17
- </div>
18
- </body>
19
- </html>
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ <!doctype html><html lang="en"><head><meta charset="utf-8"><meta name="viewport" content="width=device-width,initial-scale=1">
2
+ <title>MAIN Lab · Azerbaijani steer</title><link href="https://fonts.googleapis.com/css2?family=Inter:wght@400;600;800&display=swap" rel="stylesheet">
3
+ <style>*{box-sizing:border-box;margin:0;padding:0}body{font-family:Inter,sans-serif;color:#0B1437;background:#fff;line-height:1.5}
4
+ .w{max-width:1000px;margin:0 auto;padding:40px 20px}.top{display:flex;align-items:center;gap:12px;font-weight:800;font-size:22px}.top b{color:#2F6BFF}
5
+ h1{font-size:clamp(30px,5vw,48px);line-height:1.05;letter-spacing:-1.5px;margin:34px 0 12px}h1 span{color:#2F6BFF}.sub{color:#5B6680;font-size:18px}
6
+ .stats{display:grid;grid-template-columns:repeat(auto-fit,minmax(200px,1fr));gap:14px;margin:30px 0;background:#2F6BFF;color:#fff;border-radius:20px;padding:26px}
7
+ .stats div b{display:block;font-size:40px;letter-spacing:-1px}img{width:100%;border:1px solid #E4E9F2;border-radius:14px;margin:10px 0 30px}
8
+ h2{font-size:26px;letter-spacing:-.5px;margin:30px 0 14px}ol{padding-left:20px;color:#3B4660}ol li{margin:6px 0}
9
+ .ex{border:1px solid #E4E9F2;border-radius:14px;padding:18px;margin:14px 0}.q{font-weight:600;margin-bottom:10px}
10
+ .pair{display:grid;grid-template-columns:1fr 1fr;gap:14px}@media(max-width:700px){.pair{grid-template-columns:1fr}}
11
+ .pair h4{font-size:13px;color:#5B6680;margin-bottom:6px}.pair p{font-size:14px;background:#F5F7FB;border-radius:10px;padding:10px;white-space:pre-wrap}
12
+ .b{font-size:11px;font-weight:800;border-radius:999px;padding:2px 8px;margin-left:6px;background:#E4E9F2}.b.tr{background:#FDE2E2;color:#9B1C1C}.b.az{background:#DCE7FF;color:#1D4ED8}
13
+ .note{background:#0B1437;color:#fff;border-radius:16px;padding:20px;margin:24px 0}a{color:#2F6BFF}.foot{color:#8C96A6;font-size:14px;margin-top:30px}</style></head>
14
+ <body><div class="w"><div class="top"><svg viewBox="0 0 120 120" width="44" height="44"><rect width="120" height="120" rx="26" fill="#0B1437"/><rect x="26.4" y="26.4" width="11.2" height="11.2" rx="1.4" fill="#fff"/><rect x="82.39999999999999" y="26.4" width="11.2" height="11.2" rx="1.4" fill="#fff"/><rect x="26.4" y="40.4" width="11.2" height="11.2" rx="1.4" fill="#fff"/><rect x="40.4" y="40.4" width="11.2" height="11.2" rx="1.4" fill="#fff"/><rect x="68.4" y="40.4" width="11.2" height="11.2" rx="1.4" fill="#fff"/><rect x="82.39999999999999" y="40.4" width="11.2" height="11.2" rx="1.4" fill="#fff"/><rect x="26.4" y="54.4" width="11.2" height="11.2" rx="1.4" fill="#fff"/><rect x="54.4" y="54.4" width="11.2" height="11.2" rx="1.4" fill="#2F6BFF"/><rect x="82.39999999999999" y="54.4" width="11.2" height="11.2" rx="1.4" fill="#fff"/><rect x="26.4" y="68.4" width="11.2" height="11.2" rx="1.4" fill="#fff"/><rect x="82.39999999999999" y="68.4" width="11.2" height="11.2" rx="1.4" fill="#fff"/><rect x="26.4" y="82.39999999999999" width="11.2" height="11.2" rx="1.4" fill="#fff"/><rect x="82.39999999999999" y="82.39999999999999" width="11.2" height="11.2" rx="1.4" fill="#fff"/></svg><span>M<b>AI</b>N Lab</span></div>
15
+ <h1>128 numbers changed.<br><span>Turkish drift cut in half.</span></h1>
16
+ <p class="sub">Qwen2.5-0.5B often answers Azerbaijani questions in Turkish. We fixed much of it by editing one bias vector, with no training (weight-space programming).</p>
17
+ <div class="stats"><div><b>42% → 18%</b>answers in Turkish</div><div><b>55% → 77%</b>clean Azerbaijani</div><div><b>128</b>weights changed, no training</div></div>
18
+ <img src="benchmark.png" alt="Benchmark #003">
19
+ <h2>How it works</h2><ol><li>Feed the model the <b>same passages</b> in Azerbaijani and in Turkish (parallel FLORES texts).</li>
20
+ <li>The activation difference forms one clean <b>language direction</b>. Near the output it promotes ə, q, x.</li>
21
+ <li>Write a constant shift along it into <b>layer 20's attention bias</b>: 128 numbers. No gradients.</li>
22
+ <li>Choose the edit on practice prompts, then test on 197 prompts it never saw.</li></ol>
23
+ <h2>Real answers from the test set</h2><p class="sub">Unedited. The last example is one where the edit made things worse.</p><div class="ex"><div class="q">Yaponiyada ziyarət etmək üçün bir yer təklif edin.</div><div class="pair"><div><h4>Qwen base <span class="b tr">Turkish</span></h4><p>&quot;Yaponiyada ziyarət etmək üçün bir yer təklif edin.&quot; bu cümlenizin başlığıdır. Bu cümle, &quot;Yaponiyada ziyarət etmək üçün bir yer təklif edin&quot; ifade eder. Bu cümle, Yaponiya&#x27;da ziyaret etmek için bir yer seçme konusunda ilgi çekirdeği olur. Bu cümle, yana bir yer seçme sürecini ve seçeneklerini anlatır. Ayrıca, bu cümle, Yaponiya&#x27;dan daha</p></div><div><h4>MAIN Lab edit <span class="b az">Azerbaijani</span></h4><p>Yaponiyada ziyarət etmək üçün bir yer təklif edərəcikən:
24
+
25
+ 1. Yana qalmaq: Yana qalmaq ən böyük yaxşı qalmaq üçün istifadə etdiyim.
26
+
27
+ 2. Yana qalmaq: Yana qalmaq ən çox qalmaq üçün istifadə etdiyim.
28
+
29
+ 3. Yana qalmaq: Yana qalmaq ən çox qalmaq üç</p></div></div></div><div class="ex"><div class="q">Oval üz forması üçün uyğun saç düzümü təklif edin.</div><div class="pair"><div><h4>Qwen base <span class="b tr">Turkish</span></h4><p>Evet, üçün uyğun saç düzümü təklif etmək istəyirən bir dilə:
30
+
31
+ &quot;Kazanın çiçeriğinin çiçekli çalmağından kalan çiçeklerin çiçekli çalmağına döşerini çiçekli çalmağına döşerine doğru birlikdirməsiniz.&quot;
32
+
33
+ Bu dilə:
34
+
35
+ 1. &quot;Kazanın çiçeriğinin çiçekli çalmağından kalan çiçeklerin</p></div><div><h4>MAIN Lab edit <span class="b az">Azerbaijani</span></h4><p>İstifadə etmək istəyirək, ən çox ədəddərə qurunun ən çox ədəddərinə daxil olunan ələqərə qurunun ən çox ədəddərinə daxil olunan ələqərə qurunun ən çox ədəddərinə daxil olunan ələqərə qurunun ən çox</p></div></div></div><div class="ex"><div class="q">Anabad şəhərinin 2006-cı il siyahıya alınmasına görə əhalisi neçə nəfər idi və neçə ailə qeyd olunmuşdu?</div><div class="pair"><div><h4>Qwen base <span class="b tr">Turkish</span></h4><p>Anabad şəhərinin 2006-cı il siyahıya alınmasıyla ilə əhali nəfər idi və ailə qeyd olunan nömriləri:
36
+
37
+ 1. Anabad Şahsii: 35
38
+
39
+ 2. Anabad Şahsii (Yazılı): 40
40
+
41
+ 3. Anabad Şahsii (Kuruluş): 45
42
+
43
+ 4. Anabad Şahsii (Süreli): 50
44
+
45
+ 5. Anabad Şahsii (Düz</p></div><div><h4>MAIN Lab edit <span class="b az">Azerbaijani</span></h4><p>Anabad şəhərinin 2006-cı il siyahıya alınması üçün:
46
+
47
+ 1. Anabad şəhəri 2006-cı il siyahıya alınması üçün bir təqdim istifadəsi yaxşıdır.
48
+
49
+ 2. Anabad şəhərinə 2006-cı il siyahının ən çox qalma edilmişdir.
50
+
51
+ 3. Anabad şəhərinə 2006-cı il siyahının ən çox qaytış</p></div></div></div><div class="ex"><div class="q">Albi rayonu Cənub-Pireney regionunda hansı inzibati vahid kimi göstərilib?</div><div class="pair"><div><h4>Qwen base <span class="b tr">Turkish</span></h4><p>Albi rayonun Cənub-Pireney regionundan hansı inzibatın vahidini göstərildikten sonra, 2019 yılında Albi rayonun Cənub-Pireney regionindeki inzibatın vahidini 35.4% olan bir oran aldı.
52
+
53
+ Bu tür bilgileri daha detaylı bir şekilde açıklamak için Albi rayonun genel bilgisi ve inzibatın vahidini hakkında daha fazla bilgi edinmek önemlidir. Bu bil</p></div><div><h4>MAIN Lab edit <span class="b az">Azerbaijani</span></h4><p>Albi rayonun Cənub-Pireney regionundan hansı inzibat və qarşıq və qədər qədər göstərildik, bu regionda hansı inzibat və qarşıq və qədər qədər göstərildik. Bu region, Albi rayonun cəmək ən çox qalmaq və qədər qədər qədər göstərilməyəc</p></div></div></div><div class="ex"><div class="q">duman, qələm, vulkan, ağac.</div><div class="pair"><div><h4>Qwen base <span class="b tr">Turkish</span></h4><p>Duman, qələm, vulkan, ağac - bu kelimeyi bilinirken, &quot;duman&quot; ve &quot;vulkan&quot; türleri arasında birbirine bağlıdır. Bu nedenle, duman, vulkan, ağac gibi bir kelimeyi seçmek mümkün olabilir. Ancak, bu nedenle belirttiğiniz cümlede, &quot;duman&quot; veya &quot;vulkan&quot; gibi bir kelimeyi seçmek istiyorsanız, &quot;duman&quot; veya &quot;vulkan&quot; türlerini daha iyi seçebilirsiniz.</p></div><div><h4>MAIN Lab edit <span class="b az">Azerbaijani</span></h4><p>Duman, qələm, vulkan, ağac, təqdim etdiyim. Duman, bir duman (bir kavun) diye bilimsizdir. Qələm, bir qələm (bir yuvaradır) diye bilimsizdir. Vulkan, bir vulkan (bir yuvaradır) diye bilimsizdir. Ağaç, bir ağaç (bir yuvaradır) diye bilimsizdir.
54
+
55
+ Bu bilimsizdir ki, duman, qələ</p></div></div></div><div class="ex"><div class="q">Xəzər şişqarını yazda şimala nə vaxt çıxır və kürü tökmək üçün su neçə dərəcə olmalıdır?</div><div class="pair"><div><h4>Qwen base <span class="b tr">Turkish</span></h4><p>Xəzər şişqarını yazdıraşdırma çox təklif edilir. Bu tələbən bir xəzər şimala nəvdi:
56
+
57
+ 1. Xəzər şimala nəvdi:
58
+ - &quot;Xəzər&quot; (şıkku)
59
+ - &quot;şişqar&quot; (şıkku)
60
+
61
+ 2. Kışın məsulun:
62
+ - &quot;Kış&quot; (şıkku)
63
+ - &quot;şəqar&quot; (şıkku</p></div><div><h4>MAIN Lab edit <span class="b az">Azerbaijani</span></h4><p>Xəzər şişqarını yazdıra və kürü tökmək üçün su neçə dərəcə olmalıdır, bu təbii qurunə qeyriyyat edən bir dəyərdir. Bu təbii:
64
+
65
+ 1. Xəzər şişqarını yazdıra və kürü tökmək üçün su neçə dərəcə olmalıdır, bu təbii qurunə qeyriyyat edən bir dəyər</p></div></div></div><div class="ex"><div class="q">1908-ci il Bosniya böhranı 6 oktyabrda nədən başlayıb?</div><div class="pair"><div><h4>Qwen base <span class="b az">Azerbaijani</span></h4><p>1908-ci il Bosniya böhranı 6 oktobra nədən başlayaq. Bu tələf:
66
+
67
+ 1. Bosna Hrvatska&#x27;da 1908-çin başlamış.
68
+
69
+ 2. 6 oktobra 1908-ci il Bosniya böhranının başlangıcını təklif etdi.
70
+
71
+ 3. 1908-ci il Bosniya böhranının başlaması, Bosna Hrvatskada&#x27;nın 1905-ci ilindeki baş</p></div><div><h4>MAIN Lab edit <span class="b tr">Turkish</span></h4><p>1908-ci il Bosniya böhranı 6 oktyabrda nədən başlayaq:
72
+
73
+ Bosna yuvarlak böhranı
74
+
75
+ Bu tarihli bir yahısın, Bosna yuvarlak böhranının nüfusunun 1907-1908 yılları arasında 25.000&#x27;dır. Bu tarihten sonra, 1908-ci il Bosniya böhranı nüfusunun 30.000&#x27;dur</p></div></div></div>
76
+ <div class="note"><b>Honest limit:</b> the edit changes <i>which language</i> the model speaks, not how smart it is. A 0.5B model's answers are still weak, just in Azerbaijani now. Telling the model "answer only in Azerbaijani" barely helped (55% → 57%).</div>
77
+ <h2>Models</h2><p><a href="https://huggingface.co/MAIN-Lab/qwen2.5-0.5b-az-steer">MAIN-Lab/qwen2.5-0.5b-az-steer</a>: the edited model, with the edit file included<br>
78
+ <a href="https://huggingface.co/MAIN-Lab/gemma-3-270m-az">MAIN-Lab/gemma-3-270m-az</a>: our Azerbaijani fine-tune (Benchmark #001)</p>
79
+ <p class="foot">MAIN Lab · Master Artificial Intelligence Network · Distilling frontier intelligence into small models.</p></div></body></html>