maske-modernbert-tr-bakeoff

Taban model karşılaştırması: 2026 ModernBERT-TR vs 2020 BERTurk
Base-model bake-off: 2026 ModernBERT-TR vs 2020 BERTurk

Türkçe · English

🇹🇷 Türkçe

Genel Bakış

maske-modernbert-tr-bakeoff, maske projesinin 1. aşamasında cevaplanan sorunun modelidir: 2026 tarihli bir ModernBERT-TR tabanı, klasik BERTurk tabanını Türkçe NER'de yener mi? Bu model, emi08/maske-berturk-baseline ile birebir aynı ince ayar tarifiyle (WikiANN-tr, 20.000 cümle, aynı hiperparametreler) eğitildi; yalnızca taban değiştirildi: ytu-ce-cosmos/modernbert-tr-base (~150M parametre, 144B Türkçe token, Apache-2.0).

Sonuç: berabere (0.929 F1). WikiANN-tr bu ölçekte doygun durumdadır; iki taban arasındaki mimari fark klasik NER kıyaslamasında görünmemektedir. Bu bulgu, projenin 2. aşamasında yeni taban avlamak yerine alan verisine (sentetik KVKK verisi + replay) odaklanma kararının temelidir. 19 etiketli PII modeli emi08/maske bu karşılaştırma sonucunda modernbert-tr-base tabanıyla kurulmuştur (daha yeni mimari, uzun bağlam, aktif bakım).

⚠️ Deneysel model — PER/ORG/LOC sınıflandırması yapar; KVKK/PII görevleri için emi08/maske kullanın.

Kullanım

from transformers import pipeline
ner = pipeline(
    "token-classification",
    model="emi08/maske-modernbert-tr-bakeoff",
    aggregation_strategy="simple",
)
print(ner("Ayşe'ye 500 TL gönderdim, makbuzu Ahmet Bey'in e-postasına yazdım."))

Değerlendirme ve Karşılaştırma

Aynı betik, WikiANN-tr test bölümünün tamamı (10.000 cümle), varlık düzeyinde seqeval:

Model	Taban	Precision	Recall	F1
emi08/maske-modernbert-tr-bakeoff	modernbert-tr-base (2026)	0.923	0.935	0.929
emi08/maske-berturk-baseline	BERTurk 128k (2020)	0.923	0.934	0.929
savasy/bert-base-turkish-ner-cased	BERTurk 32k	0.919	0.930	0.925
Werea-co/Werea-TR-NER	BERTurk 32k	0.907	0.917	0.912
akdeniz27/bert-base-turkish-cased-ner	BERTurk 32k	0.699	0.649	0.673

Tüm modeller aynı betik ve aynı test bölümüyle ölçüldü. WikiANN otomatik etiketli ve haber tarzıdır; skorlar gerçek dünya metni için tavan değerdir.

Eğitim

Özellik	Değer
Taban model	ytu-ce-cosmos/modernbert-tr-base (Apache-2.0)
Eğitim verisi	WikiANN-tr — 20.000 cümle
Etiketler	O, B/I-PER, B/I-ORG, B/I-LOC
Tarif	BERTurk baseline ile birebir aynı (epok, LR, batch); yalnızca taban farklı
Donanım	T4 GPU (Colab/Kaggle)

Sınırlar

• PER/ORG/LOC dışında varlık türü yoktur; PII türleri için emi08/maske kullanın.
• WikiANN gümüş etikettir; karşılaştırma yalnızca bu veri kümesi bağlamında anlamlıdır.
• Haber/ansiklopedi tarzı metin dışında ölçülmemiştir.

Atıf

@misc{maske_bakeoff_2026,
  author       = {emi08},
  title        = {maske-modernbert-tr-bakeoff: ModernBERT-TR vs BERTurk Turkish NER Bake-off},
  year         = {2026},
  url          = {https://huggingface.co/emi08/maske-modernbert-tr-bakeoff},
}

Lisans

Apache-2.0. Taban model ytu-ce-cosmos/modernbert-tr-base Apache-2.0 lisanslıdır; WikiANN katkısı gümüş etiket içerir.

🇬🇧 English

Overview

maske-modernbert-tr-bakeoff answers the question posed in stage 1 of the maske project: does a 2026 ModernBERT-TR base beat classic BERTurk on Turkish NER? It was trained with the exact same fine-tuning recipe as emi08/maske-berturk-baseline (WikiANN-tr, 20,000 sentences, identical hyperparameters); only the base changed: ytu-ce-cosmos/modernbert-tr-base (~150M params, 144B Turkish tokens, Apache-2.0).

Result: a tie (0.929 F1). WikiANN-tr is saturated at this scale; the architectural gap does not show in a classic NER benchmark. This finding grounded the stage-2 decision to invest in domain data (synthetic KVKK data + replay) rather than base-model hunting. The 19-label PII model emi08/maske was built on modernbert-tr-base following this bake-off (newer architecture, longer context, active maintenance).

⚠️ Experimental model — PER/ORG/LOC only; use emi08/maske for KVKK/PII tasks.

Usage

from transformers import pipeline
ner = pipeline(
    "token-classification",
    model="emi08/maske-modernbert-tr-bakeoff",
    aggregation_strategy="simple",
)
print(ner("Ayşe'ye 500 TL gönderdim, makbuzu Ahmet Bey'in e-postasına yazdım."))

Evaluation & Comparison

Same script, full WikiANN-tr test split (10,000 sentences), entity-level seqeval:

Model	Base	Precision	Recall	F1
emi08/maske-modernbert-tr-bakeoff	modernbert-tr-base (2026)	0.923	0.935	0.929
emi08/maske-berturk-baseline	BERTurk 128k (2020)	0.923	0.934	0.929
savasy/bert-base-turkish-ner-cased	BERTurk 32k	0.919	0.930	0.925
Werea-co/Werea-TR-NER	BERTurk 32k	0.907	0.917	0.912
akdeniz27/bert-base-turkish-cased-ner	BERTurk 32k	0.699	0.649	0.673

All models measured with the same script and split. WikiANN is auto-labeled and news-style; scores are an upper bound for real-world text.

Training

Item	Value
Base model	ytu-ce-cosmos/modernbert-tr-base (Apache-2.0)
Training data	WikiANN-tr — 20k sentences
Labels	O, B/I-PER, B/I-ORG, B/I-LOC
Recipe	Identical to the BERTurk baseline (epochs, LR, batch); base model is the only difference
Hardware	T4 GPU (Colab/Kaggle)

Limits

• No entity types beyond PER/ORG/LOC; use emi08/maske for PII types.
• WikiANN is silver-labeled; the comparison is meaningful only within this dataset.
• Unmeasured outside news/encyclopedic text.

Citation

@misc{maske_bakeoff_2026,
  author       = {emi08},
  title        = {maske-modernbert-tr-bakeoff: ModernBERT-TR vs BERTurk Turkish NER Bake-off},
  year         = {2026},
  url          = {https://huggingface.co/emi08/maske-modernbert-tr-bakeoff},
}

License

Apache-2.0. Base model ytu-ce-cosmos/modernbert-tr-base is Apache-2.0; the WikiANN contribution contains silver labels.