maske-berturk-baseline

Türkçe NER referans modeli — PER / ORG / LOC
Turkish NER reference baseline — PER / ORG / LOC

Türkçe · English

🇹🇷 Türkçe

Genel Bakış

maske-berturk-baseline, Türkçe metinlerde kişi (PER), kurum (ORG) ve yer (LOC) isimlerini bulan NER modelidir. maske projesinin 1. aşama referans modelidir: 128k kelime dağarcıklı BERTurk tabanına, WikiANN-tr üzerinde standart bir tarifle ince ayar yapılmıştır. Amacı üretime hazır olmak değil, projenin ileriki modelleri için ölçülebilir bir dayanak noktası oluşturmaktır. KVKK/PII görevleri için bunun yerine emi08/maske (19 etiket) kullanın.

⚠️ Deneysel baseline — üretim kullanımı için hazır değildir.

📰 Haberler

• Ekim 2026 — 19 etiketli PII modeli emi08/maske yayınlandı; bu model referans olarak korunmaktadır.

Kullanım

from transformers import pipeline
ner = pipeline(
    "token-classification",
    model="emi08/maske-berturk-baseline",
    aggregation_strategy="simple",  # alt parçaları birleştirip bütün kelimeyi verir
)
print(ner("Ayşe'ye 500 TL gönderdim, makbuzu Ahmet Bey'in e-postasına yazdım."))

Değerlendirme

WikiANN-tr test bölümünün tamamında (10.000 cümle), seqeval ile varlık düzeyinde ölçüldü:

Metrik	Skor
Precision	0.923
Recall	0.934
F1	0.929

WikiANN otomatik etiketli ve haber/ansiklopedi tarzıdır; bu skorları gerçek Türkçe metindeki performansın üst sınırı olarak okuyun. Gerçek metin ölçümü emi08/maske kartındaki 29 dokümanlık başlangıç seti ile yapılmaya başlanmıştır.

Karşılaştırma

Aynı değerlendirme betiği ve aynı test bölümü ile; varlık düzeyinde seqeval:

Model	Precision	Recall	F1
emi08/maske-berturk-baseline	0.923	0.934	0.929
emi08/maske-modernbert-tr-bakeoff	0.923	0.935	0.929
savasy/bert-base-turkish-ner-cased	0.919	0.930	0.925
Werea-co/Werea-TR-NER	0.907	0.917	0.912
akdeniz27/bert-base-turkish-cased-ner	0.699	0.649	0.673

• Tüm modeller aynı betik ve aynı test bölümüyle ölçüldü; başka veri kümelerindeki değerlendirmelerle karşılaştırılamaz.
• savasy ile fark (0.004 F1) eğitim rastgeleliği sınırındadır; üstünlük iddiası değildir.
• Werea ile fark (0.017 F1) bu sınırın üzerindedir; temel fark taban modeldir (32k vs 128k kelime dağarcığı).
• akdeniz27, WikiANN değil Küçük (2016) veri kümesiyle eğitildiğinden düşük skoru veri uyumsuzluğunu yansıtır.
• İki maske satırı aynı tarifle ve yalnızca taban modeli farklılarak eğitildi: WikiANN-tr taban ölçekte doygun.

Eğitim

Özellik	Değer
Taban model	dbmdz/bert-base-turkish-128k-cased (MIT)
Eğitim verisi	WikiANN-tr — 20.000 cümle, otomatik etiketli
Etiketler	O, B/I-PER, B/I-ORG, B/I-LOC
Donanım	T4 GPU (Colab/Kaggle), ~15 dakika

Sınırlar

• Ek almış isimler (Ayşe'ye, Ahmet'ten) kısmen yakalanır — projenin ana geliştirme konusu budur.
• TCKN, IBAN, telefon gibi kural tabanlı alanlar kapsam dışıdır.
• Haber/ansiklopedi tarzı eğitim verisi; sosyal medya ve sohbet metninde performans düşebilir.
• Bu model bir anonimleştirme aracı değildir; tespit ≠ anonimleştirme.

Yol Haritası (proje)

• ✅ 19 etiketli PII modeli: emi08/maske
• 🟡 Gerçek metinden insan doğrulamalı altın test seti (29 dokümanlık başlangıç seti mevcut, büyütülüyor)
• 🟡 Kural katmanı: e-posta kurtarma ✅ · TCKN/IBAN checksum doğrulayıcıları 🔜
• 🔜 pip install maske — birleşik tespit + maskeleme paketi

Atıf

@misc{maske_berturk_2026,
  author       = {emi08},
  title        = {maske-berturk-baseline: Turkish NER Reference Baseline},
  year         = {2026},
  url          = {https://huggingface.co/emi08/maske-berturk-baseline},
}

Lisans

MIT. Taban model dbmdz/bert-base-turkish-128k-cased MIT lisanslıdır; WikiANN katkısı gümüş etiket içerir.

🇬🇧 English

Overview

maske-berturk-baseline is a Turkish NER model detecting person (PER), organization (ORG) and location (LOC) names. It is the stage-1 reference baseline of the maske project: BERTurk (128k vocabulary) fine-tuned on WikiANN-tr with a standard recipe. Its purpose is not production readiness but a measurable reference point for later models. For KVKK/PII tasks use emi08/maske (19 labels) instead.

⚠️ Experimental baseline — not production-ready.

Usage

from transformers import pipeline
ner = pipeline(
    "token-classification",
    model="emi08/maske-berturk-baseline",
    aggregation_strategy="simple",  # merges subword pieces into whole words
)
print(ner("Ayşe'ye 500 TL gönderdim, makbuzu Ahmet Bey'in e-postasına yazdım."))

Evaluation

Full WikiANN-tr test split (10,000 sentences), seqeval, entity level: P 0.923 / R 0.934 / F1 0.929. WikiANN is auto-labeled and news-style — read these as an upper bound for real-world Turkish text. Real-text measurement has started with the 29-doc starter set reported in the emi08/maske card.

Comparison

Same script, same test split, entity-level seqeval:

Model	Precision	Recall	F1
emi08/maske-berturk-baseline	0.923	0.934	0.929
emi08/maske-modernbert-tr-bakeoff	0.923	0.935	0.929
savasy/bert-base-turkish-ner-cased	0.919	0.930	0.925
Werea-co/Werea-TR-NER	0.907	0.917	0.912
akdeniz27/bert-base-turkish-cased-ner	0.699	0.649	0.673

All five models were measured with the same script and split; results are not comparable with evaluations on other datasets. The gap to savasy (0.004 F1) is within training noise; the gap to Werea (0.017 F1) mainly reflects the base model (32k vs 128k vocab). akdeniz27 was trained on the Küçük (2016) dataset, so its low score reflects train/test mismatch. The two maske rows differ only in the base model — WikiANN-tr is saturated at this scale.

Training

Item	Value
Base model	dbmdz/bert-base-turkish-128k-cased (MIT)
Training data	WikiANN-tr — 20k sentences, auto-labeled
Labels	O, B/I-PER, B/I-ORG, B/I-LOC
Hardware	T4 GPU (Colab/Kaggle), ~15 min

Limits

• Suffixed names (Ayşe'ye, Ahmet'ten) are only partially caught — the project's main focus.
• Rule-based fields (TCKN, IBAN, phone) are out of scope.
• News/encyclopedic training text; expect degradation on social media and chat.
• Not an anonymization tool; detection ≠ anonymization.

Roadmap (project)

• ✅ 19-label PII model: emi08/maske
• 🟡 Human-verified golden test set from real text (29-doc starter set, growing)
• 🟡 Rule layer: e-mail rescue ✅ · TCKN/IBAN checksum validators 🔜
• 🔜 pip install maske — unified detection + masking package

Citation

@misc{maske_berturk_2026,
  author       = {emi08},
  title        = {maske-berturk-baseline: Turkish NER Reference Baseline},
  year         = {2026},
  url          = {https://huggingface.co/emi08/maske-berturk-baseline},
}

License

MIT. Base model dbmdz/bert-base-turkish-128k-cased is MIT; the WikiANN contribution contains silver labels.