Ahmetemiiii2 commited on
Commit
e22cba6
·
verified ·
1 Parent(s): 03d9bda

README: Türkçe bölüm genişletildi

Browse files
Files changed (1) hide show
  1. README.md +50 -5
README.md CHANGED
@@ -155,15 +155,60 @@ Code and weights are released under Apache-2.0 (see `LICENSE`). The training dat
155
 
156
  ## Türkçe
157
 
158
- **Töz-Çevir-1**, sıfırdan eğitilmiş küçük bir İngilizce ↔ Türkçe çeviri modeli: 74M parametre, iki yön için tek model, Apache-2.0. Kaggle'ın ücretsiz 2×T4 GPU'larında, ticari olmayan (NC) veri kullanmadan ve başka bir çeviri modelinden damıtma yapmadan eğitildi.
159
 
160
- FLORES-200 en→tr'de chrF++ 60,0 ile yaklaşık üç kat büyük OPUS-MT tc-big'in (59,2) önünde. WMT24++'ta da önde (53,1 / 50,8). NTREX'te biraz geride (48,3 / 48,8). tr→en'de tc-big'in yaklaşık 3 puan altında (59,1 / 62,1). Benzer boydaki OPUS-MT base'i her sette geçiyor. Sayılar her setten 500 cümleyle ölçüldü; tam setlerde küçük farklar oynayabilir.
161
 
162
- Kullanım (Python 3.9+, GPU gerekmez; ağırlıklar ilk çalıştırmada ~300 MB iner):
163
 
164
  ```bash
165
  pip install git+https://github.com/Toz-AI/toz-cevir.git
166
- python -m tozcevir --to en "Yarın okula gideceğim ama İstanbul'u çok özledim." # kaynak dili söylemene gerek yok, yalnız hedef
 
167
  ```
168
 
169
- Bilinen eksikler: cümle düzeyinde çalışır (belge bağlamı yok), deyimleri çoğu zaman kelimesi kelimesine çevirir, bir-üç kelimelik çok kısa girdilerde çıktıyı bazen tekrarlar ("Seni seviyorum. Seni seviyorum."), eğitim metni ağırlıkla web ve altyazı olduğundan resmî, hukuki, tıbbi metinlerde mutlaka kontrol edilmeli. Bu depoda yalnızca çıkarım ve ölçüm kodu var; eğitim kodu yayınlanmadı.
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
155
 
156
  ## Türkçe
157
 
158
+ **Töz-Çevir-1**, [Töz AI](https://huggingface.co/TozAI)'nin sıfırdan eğittiği küçük bir İngilizce ↔ Türkçe çeviri modeli: 74M parametre, iki yön için tek model, Apache-2.0. Sıradan bir bilgisayarda, GPU olmadan da çalışır. Kaggle'ın ücretsiz 2×T4 GPU'larında, ticari olmayan (NC) veri kullanmadan ve başka bir çeviri modelinden damıtma yapmadan eğitildi. Kardeşi [Töz-1](https://huggingface.co/TozAI/Toz-1) Türkçe dil modeli.
159
 
160
+ ### Nasıl kullanılır
161
 
162
+ Python 3.9 veya üstü gerekir. PyTorch'u pip kendisi kurar, GPU şart değil. Ağırlıklar (~300 MB) ilk çalıştırmada kendiliğinden iner.
163
 
164
  ```bash
165
  pip install git+https://github.com/Toz-AI/toz-cevir.git
166
+ python -m tozcevir --to en "Yarın okula gideceğim ama İstanbul'u çok özledim."
167
+ python -m tozcevir --to tr # etkileşimli mod; :tr / :en yönü değiştirir, :q çıkış
168
  ```
169
 
170
+ ```python
171
+ import tozcevir
172
+
173
+ t = tozcevir.load()
174
+ print(t.translate("Merkez Bankası, enflasyonla mücadele için faizi yarım puan artırdı.", to="en"))
175
+ ```
176
+
177
+ Kaynak dili söylemene gerek yok, yalnız hedefi verirsin (`to="tr"` ya da `to="en"`). Uzun metinleri cümlelere bölüp tek tek çevirir, çünkü model cümle çiftleriyle eğitildi. Bu bir `transformers` modeli değil; `AutoModel.from_pretrained` ile yüklenmez, HF sayfasındaki deneme kutusu da yok. Yukarıdaki küçük paketi kullan.
178
+
179
+ ### Nasıl çalışıyor
180
+
181
+ Modele bir cümle verirsin ve hangi dile çevireceğini söylersin. Bu seçim, cümlenin başına konan küçük bir etiketle modele iletilir. Encoder cümlenin tamamını okur, decoder çeviriyi sözcük sözcük (ya da sözcük parçası parçası) yazar ve her adımda hem şimdiye kadar yazdığına hem de encoder'ın anladığına bakar. Çıktıda dört en iyi adayı tutan bir beam search kullanılır. Eğitimde her cümle çifti rastgele bir yönde gösterildiği için aynı ağırlıklar iki yönü de yapar.
182
+
183
+ ### Örnekler
184
+
185
+ Gerçek çıktılar, beam 4, hiçbiri elle düzeltilmedi:
186
+
187
+ | Yön | Girdi | Çıktı |
188
+ |---|---|---|
189
+ | en→tr | I'll call you when I get home, and then we can decide where to eat. | Eve geldiğimde seni ararım, sonra da nerede yiyeceğimize karar veririz. |
190
+ | tr→en | Sınav haftası yaklaştığı için kütüphane sabahtan akşama kadar doluydu. | The library was full from morning to evening as the exam week was approaching. |
191
+ | en→tr | It's raining cats and dogs. | Kedi ve köpekler yağmur yağıyor. |
192
+ | tr→en | Ağzından bal damlıyor. | She's dripping honey in her mouth. |
193
+
194
+ Son iki satır deyim hatası: model deyimleri çoğu zaman kelimesi kelimesine çevirir.
195
+
196
+ ### Sonuçlar
197
+
198
+ FLORES-200 en→tr'de chrF++ 60,0 ile yaklaşık üç kat büyük OPUS-MT tc-big'in (59,2) önünde. WMT24++'ta da önde (53,1 / 50,8). NTREX'te biraz geride (48,3 / 48,8). tr→en'de tc-big'in yaklaşık 3 puan altında (59,1 / 62,1). Benzer boydaki OPUS-MT base'i her sette geçiyor. Sayılar her setten 500 cümleyle ölçüldü; tam setlerde birkaç onda bir puanlık farklar oynayabilir. Tablo yukarıda, İngilizce bölümde.
199
+
200
+ ### Eğitim
201
+
202
+ Yaklaşık 170 milyon ham cümle çiftinden (OPUS ve HPLT) filtrelemeyle 95 milyonu seçildi. Yaklaşık 6 milyar token üzerinde, 120 bin adım, iki T4'te kabaca 40 saat sürdü. Ticari olmayan lisanslı veriler (TED, QED, Tanzil) bilerek kullanılmadı. Eğitim kodu yayınlanmadı; bu depoda yalnızca çıkarım ve ölçüm kodu var.
203
+
204
+ ### Bilinen eksikler
205
+
206
+ - **Çok kısa girdiler.** Bir ile üç kelimelik girdilerde (selamlaşma, tek kelime) model sık sık çıktıyı iki kere yazar ya da başa dolgu ekler: "Hello!" → "Merhaba! Merhaba!", "I love you." → "Seni seviyorum. Seni seviyorum.", "Merhaba." → "Oh, hi. Hi." Uzun cümlelerde bu olmaz. Büyük ihtimalle eğitimdeki altyazı satırlarından öğrendiği bir alışkanlık; nedenini kesin doğrulamadık. Kısa bir ifadeyi çevireceksen onu bir cümlenin içinde ver ya da çıktıyı kontrol et.
207
+ - **Deyimler** kelimesi kelimesine çevrilir.
208
+ - **Cümle düzeyinde çalışır**, belge bağlamı yok: zamirler, hitap biçimi ve terimler cümleden cümleye kayabilir.
209
+ - Eğitim metni ağırlıkla web ve altyazı olduğundan **resmî, hukuki, tıbbi ve çok teknik metinlerde** çıktı mutlaka bir insan tarafından kontrol edilmeli. İsimler ve sayılar da yanlış çıkabilir.
210
+ - 254 tokenden uzun girdiler kesilir.
211
+
212
+ ### Lisans
213
+
214
+ Kod ve ağırlıklar Apache-2.0. Eğitim verisi birçok kaynaktan geliyor ve her birinin kendi lisansı var; ayrıntı için OPUS ve HPLT sayfalarına bakın.