| --- |
| license: apache-2.0 |
| library_name: transformers |
| base_model: google/gemma-4-31B-it |
| language: |
| - tr |
| tags: |
| - tokenizer |
| - bpe |
| - turkish |
| - multimodal |
| - magibu-ai |
| --- |
| |
| # Altus — Magibu AI Türkçe Odaklı Tokenizer |
|
|
| Altus, Magibu AI Research tarafından Türkçe ve diğer düşük kaynaklı dillerde daha verimli çalışacak modellerin eğitiminde kullanılmak üzere hazırlanmış çok modlu bir BPE tokenizer/processor paketidir. |
|
|
| Bu repo model ağırlıkları içermez. Yalnızca tokenizer, processor, sohbet şablonu ve birleştirilmiş token ID'lerini kaynak tokenizer ID'lerine eşleyen dosyaları içerir. |
|
|
| ## Temel özellikler |
|
|
| - Magibu AI kimliğiyle markalanmış, varsayılan yanıt dili Türkçe olan sohbet şablonu |
| - Metin, görsel, video, ses, düşünme ve araç çağırma akışlarıyla uyumlu processor yapısı |
| - Kaynak tokenizer'ın boşluk işareti (`▁`) gösterimine dönüştürülmüş Magibu BPE söz varlığı |
| - Eğitim sırasında embedding aktarımı için `merged-to-original-token-ids.json` |
|
|
| ## Birleşim ayrıntıları |
|
|
| | Alan | Değer | |
| |---|---:| |
| | Kaynak hedef tokenizer model söz varlığı | 262.144 | |
| | Magibu kaynak model söz varlığı | 65.536 | |
| | Enjekte edilen yeni token | 42.484 | |
| | Sınır nedeniyle kaldırılan hedef token | 42.484 | |
| | Son model ve toplam söz varlığı | 262.144 | |
| | Kaynak merge kuralı eklemesi | 147.769 | |
| | Korunan hedef merge kuralı | 373.163 | |
|
|
| Birleştirme işlemi toplam söz varlığını `2^18` token ile sınırlar. Teknik sınıf adları ve özel token protokolü Hugging Face Transformers uyumluluğunu korumak için değiştirilmemiştir. |
|
|
| ## Kullanım |
|
|
| ```python |
| from transformers import AutoProcessor |
| |
| processor = AutoProcessor.from_pretrained("magibu/Altus") |
| messages = [ |
| {"role": "user", "content": "Türkçe için verimli tokenizasyon neden önemlidir?"} |
| ] |
| |
| prompt = processor.apply_chat_template( |
| messages, |
| tokenize=False, |
| add_generation_prompt=True, |
| ) |
| print(prompt) |
| ``` |
|
|
| Doğrudan tokenizasyon: |
|
|
| ```python |
| from transformers import AutoTokenizer |
| |
| tokenizer = AutoTokenizer.from_pretrained("magibu/Altus") |
| encoded = tokenizer("Türkçe doğal dil işleme") |
| print(encoded.input_ids) |
| ``` |
|
|
| ## Token ID eşlemesi |
|
|
| `merged-to-original-token-ids.json`, birleştirilmiş tokenizer'daki her ID'yi kaynak hedef tokenizer'daki bir veya daha fazla ID ile eşler. Bu dosya, genişletilmiş söz varlığıyla model eğitimine başlarken embedding'leri kaynak modelden başlatmak için kullanılabilir. |
|
|
| ## Kaynak ve provenans |
|
|
| Altus, Magibu AI tarafından geliştirilen 65.536 birimlik BPE söz varlığının [google/gemma-4-31B-it](https://huggingface.co/google/gemma-4-31B-it) tokenizer altyapısıyla birleştirilmesiyle hazırlanmıştır. Bu paket Magibu AI tarafından değiştirilmiş ve yeniden markalanmış bir tokenizer/processor dağıtımıdır; kaynak model ağırlıklarını içermez. |
|
|
| Kaynak artifact'ler ve bu dağıtım Apache License 2.0 kapsamındadır. Ayrıntılar için `LICENSE` ve `NOTICE` dosyalarına bakın. |
|
|
| ## Magibu AI Research |
|
|
| Magibu AI, Türkçe ve diğer düşük kaynaklı diller için doğal dil işleme ve yapay zekâ teknolojileri geliştiren, Türkiye merkezli disiplinler arası bir araştırma grubudur. |
|
|
| - Web: [magibu.ai](https://magibu.ai) |
| - Hugging Face: [huggingface.co/magibu](https://huggingface.co/magibu) |
| - E-posta: info@magibu.ai |
|
|
| > Türkçe ve düşük kaynaklı diller için yapay zekâyı teoriden gerçek dünya uygulamalarına taşıyoruz. |
|
|
