MAIN Lab

128 numbers changed.
Turkish drift cut in half.

Qwen2.5-0.5B often answers Azerbaijani questions in Turkish. We fixed much of it by editing one bias vector, with no training (weight-space programming).

42% → 18%answers in Turkish
55% → 77%clean Azerbaijani
128weights changed, no training
Benchmark #003

How it works

  1. Feed the model the same passages in Azerbaijani and in Turkish (parallel FLORES texts).
  2. The activation difference forms one clean language direction. Near the output it promotes ə, q, x.
  3. Write a constant shift along it into layer 20's attention bias: 128 numbers. No gradients.
  4. Choose the edit on practice prompts, then test on 197 prompts it never saw.

Real answers from the test set

Unedited. The last example is one where the edit made things worse.

Yaponiyada ziyarət etmək üçün bir yer təklif edin.

Qwen base Turkish

"Yaponiyada ziyarət etmək üçün bir yer təklif edin." bu cümlenizin başlığıdır. Bu cümle, "Yaponiyada ziyarət etmək üçün bir yer təklif edin" ifade eder. Bu cümle, Yaponiya'da ziyaret etmek için bir yer seçme konusunda ilgi çekirdeği olur. Bu cümle, yana bir yer seçme sürecini ve seçeneklerini anlatır. Ayrıca, bu cümle, Yaponiya'dan daha

MAIN Lab edit Azerbaijani

Yaponiyada ziyarət etmək üçün bir yer təklif edərəcikən: 1. Yana qalmaq: Yana qalmaq ən böyük yaxşı qalmaq üçün istifadə etdiyim. 2. Yana qalmaq: Yana qalmaq ən çox qalmaq üçün istifadə etdiyim. 3. Yana qalmaq: Yana qalmaq ən çox qalmaq üç

Oval üz forması üçün uyğun saç düzümü təklif edin.

Qwen base Turkish

Evet, üçün uyğun saç düzümü təklif etmək istəyirən bir dilə: "Kazanın çiçeriğinin çiçekli çalmağından kalan çiçeklerin çiçekli çalmağına döşerini çiçekli çalmağına döşerine doğru birlikdirməsiniz." Bu dilə: 1. "Kazanın çiçeriğinin çiçekli çalmağından kalan çiçeklerin

MAIN Lab edit Azerbaijani

İstifadə etmək istəyirək, ən çox ədəddərə qurunun ən çox ədəddərinə daxil olunan ələqərə qurunun ən çox ədəddərinə daxil olunan ələqərə qurunun ən çox ədəddərinə daxil olunan ələqərə qurunun ən çox

Anabad şəhərinin 2006-cı il siyahıya alınmasına görə əhalisi neçə nəfər idi və neçə ailə qeyd olunmuşdu?

Qwen base Turkish

Anabad şəhərinin 2006-cı il siyahıya alınmasıyla ilə əhali nəfər idi və ailə qeyd olunan nömriləri: 1. Anabad Şahsii: 35 2. Anabad Şahsii (Yazılı): 40 3. Anabad Şahsii (Kuruluş): 45 4. Anabad Şahsii (Süreli): 50 5. Anabad Şahsii (Düz

MAIN Lab edit Azerbaijani

Anabad şəhərinin 2006-cı il siyahıya alınması üçün: 1. Anabad şəhəri 2006-cı il siyahıya alınması üçün bir təqdim istifadəsi yaxşıdır. 2. Anabad şəhərinə 2006-cı il siyahının ən çox qalma edilmişdir. 3. Anabad şəhərinə 2006-cı il siyahının ən çox qaytış

Albi rayonu Cənub-Pireney regionunda hansı inzibati vahid kimi göstərilib?

Qwen base Turkish

Albi rayonun Cənub-Pireney regionundan hansı inzibatın vahidini göstərildikten sonra, 2019 yılında Albi rayonun Cənub-Pireney regionindeki inzibatın vahidini 35.4% olan bir oran aldı. Bu tür bilgileri daha detaylı bir şekilde açıklamak için Albi rayonun genel bilgisi ve inzibatın vahidini hakkında daha fazla bilgi edinmek önemlidir. Bu bil

MAIN Lab edit Azerbaijani

Albi rayonun Cənub-Pireney regionundan hansı inzibat və qarşıq və qədər qədər göstərildik, bu regionda hansı inzibat və qarşıq və qədər qədər göstərildik. Bu region, Albi rayonun cəmək ən çox qalmaq və qədər qədər qədər göstərilməyəc

duman, qələm, vulkan, ağac.

Qwen base Turkish

Duman, qələm, vulkan, ağac - bu kelimeyi bilinirken, "duman" ve "vulkan" türleri arasında birbirine bağlıdır. Bu nedenle, duman, vulkan, ağac gibi bir kelimeyi seçmek mümkün olabilir. Ancak, bu nedenle belirttiğiniz cümlede, "duman" veya "vulkan" gibi bir kelimeyi seçmek istiyorsanız, "duman" veya "vulkan" türlerini daha iyi seçebilirsiniz.

MAIN Lab edit Azerbaijani

Duman, qələm, vulkan, ağac, təqdim etdiyim. Duman, bir duman (bir kavun) diye bilimsizdir. Qələm, bir qələm (bir yuvaradır) diye bilimsizdir. Vulkan, bir vulkan (bir yuvaradır) diye bilimsizdir. Ağaç, bir ağaç (bir yuvaradır) diye bilimsizdir. Bu bilimsizdir ki, duman, qələ

Xəzər şişqarını yazda şimala nə vaxt çıxır və kürü tökmək üçün su neçə dərəcə olmalıdır?

Qwen base Turkish

Xəzər şişqarını yazdıraşdırma çox təklif edilir. Bu tələbən bir xəzər şimala nəvdi: 1. Xəzər şimala nəvdi: - "Xəzər" (şıkku) - "şişqar" (şıkku) 2. Kışın məsulun: - "Kış" (şıkku) - "şəqar" (şıkku

MAIN Lab edit Azerbaijani

Xəzər şişqarını yazdıra və kürü tökmək üçün su neçə dərəcə olmalıdır, bu təbii qurunə qeyriyyat edən bir dəyərdir. Bu təbii: 1. Xəzər şişqarını yazdıra və kürü tökmək üçün su neçə dərəcə olmalıdır, bu təbii qurunə qeyriyyat edən bir dəyər

1908-ci il Bosniya böhranı 6 oktyabrda nədən başlayıb?

Qwen base Azerbaijani

1908-ci il Bosniya böhranı 6 oktobra nədən başlayaq. Bu tələf: 1. Bosna Hrvatska'da 1908-çin başlamış. 2. 6 oktobra 1908-ci il Bosniya böhranının başlangıcını təklif etdi. 3. 1908-ci il Bosniya böhranının başlaması, Bosna Hrvatskada'nın 1905-ci ilindeki baş

MAIN Lab edit Turkish

1908-ci il Bosniya böhranı 6 oktyabrda nədən başlayaq: Bosna yuvarlak böhranı Bu tarihli bir yahısın, Bosna yuvarlak böhranının nüfusunun 1907-1908 yılları arasında 25.000'dır. Bu tarihten sonra, 1908-ci il Bosniya böhranı nüfusunun 30.000'dur

Honest limit: the edit changes which language the model speaks, not how smart it is. A 0.5B model's answers are still weak, just in Azerbaijani now. Telling the model "answer only in Azerbaijani" barely helped (55% → 57%).

Models

MAIN-Lab/qwen2.5-0.5b-az-steer: the edited model, with the edit file included
MAIN-Lab/gemma-3-270m-az: our Azerbaijani fine-tune (Benchmark #001)

MAIN Lab · Master Artificial Intelligence Network · Distilling frontier intelligence into small models.