---
license: apache-2.0
library_name: transformers
base_model: google/gemma-4-31B-it
language:
  - tr
tags:
  - tokenizer
  - bpe
  - turkish
  - multimodal
  - magibu-ai
---

# Altus — Magibu AI Türkçe Odaklı Tokenizer

Altus, Magibu AI Research tarafından Türkçe ve diğer düşük kaynaklı dillerde daha verimli çalışacak modellerin eğitiminde kullanılmak üzere hazırlanmış çok modlu bir BPE tokenizer/processor paketidir.

Bu repo model ağırlıkları içermez. Yalnızca tokenizer, processor, sohbet şablonu ve birleştirilmiş token ID'lerini kaynak tokenizer ID'lerine eşleyen dosyaları içerir.

## Temel özellikler

- Magibu AI kimliğiyle markalanmış, varsayılan yanıt dili Türkçe olan sohbet şablonu
- Metin, görsel, video, ses, düşünme ve araç çağırma akışlarıyla uyumlu processor yapısı
- Kaynak tokenizer'ın boşluk işareti (`▁`) gösterimine dönüştürülmüş Magibu BPE söz varlığı
- Eğitim sırasında embedding aktarımı için `merged-to-original-token-ids.json`

## Birleşim ayrıntıları

| Alan | Değer |
|---|---:|
| Kaynak hedef tokenizer model söz varlığı | 262.144 |
| Magibu kaynak model söz varlığı | 65.536 |
| Enjekte edilen yeni token | 42.484 |
| Sınır nedeniyle kaldırılan hedef token | 42.484 |
| Son model ve toplam söz varlığı | 262.144 |
| Kaynak merge kuralı eklemesi | 147.769 |
| Korunan hedef merge kuralı | 373.163 |

Birleştirme işlemi toplam söz varlığını `2^18` token ile sınırlar. Teknik sınıf adları ve özel token protokolü Hugging Face Transformers uyumluluğunu korumak için değiştirilmemiştir.

## Kullanım

```python
from transformers import AutoProcessor

processor = AutoProcessor.from_pretrained("magibu/Altus")
messages = [
    {"role": "user", "content": "Türkçe için verimli tokenizasyon neden önemlidir?"}
]

prompt = processor.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
)
print(prompt)
```

Doğrudan tokenizasyon:

```python
from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("magibu/Altus")
encoded = tokenizer("Türkçe doğal dil işleme")
print(encoded.input_ids)
```

## Token ID eşlemesi

`merged-to-original-token-ids.json`, birleştirilmiş tokenizer'daki her ID'yi kaynak hedef tokenizer'daki bir veya daha fazla ID ile eşler. Bu dosya, genişletilmiş söz varlığıyla model eğitimine başlarken embedding'leri kaynak modelden başlatmak için kullanılabilir.

## Kaynak ve provenans

Altus, Magibu AI tarafından geliştirilen 65.536 birimlik BPE söz varlığının [google/gemma-4-31B-it](https://huggingface.co/google/gemma-4-31B-it) tokenizer altyapısıyla birleştirilmesiyle hazırlanmıştır. Bu paket Magibu AI tarafından değiştirilmiş ve yeniden markalanmış bir tokenizer/processor dağıtımıdır; kaynak model ağırlıklarını içermez.

Kaynak artifact'ler ve bu dağıtım Apache License 2.0 kapsamındadır. Ayrıntılar için `LICENSE` ve `NOTICE` dosyalarına bakın.

## Magibu AI Research

Magibu AI, Türkçe ve diğer düşük kaynaklı diller için doğal dil işleme ve yapay zekâ teknolojileri geliştiren, Türkiye merkezli disiplinler arası bir araştırma grubudur.

- Web: [magibu.ai](https://magibu.ai)
- Hugging Face: [huggingface.co/magibu](https://huggingface.co/magibu)
- E-posta: info@magibu.ai

> Türkçe ve düşük kaynaklı diller için yapay zekâyı teoriden gerçek dünya uygulamalarına taşıyoruz.