| --- |
| license: other |
| license_name: ul-lodl |
| license_link: LICENSE |
| language: |
| - en |
| - ru |
| - zh |
| tags: |
| - tokenizer |
| - bpe |
| - tinycynic |
| --- |
| |
| # TinyCyclic Tokenizer |
|
|
| Кастомный BPE-токенизатор на **64,000 токенов**, разработанный специально для экспериментальной архитектуры [TinyCyclic](https://huggingface.co/ExtraX1/TinyCyclic-0.4B-Base). |
|
|
| ## 📊 Характеристики |
|
|
| * **Тип:** Byte-Level BPE (совместим с GPT-2 / Llama / Qwen). |
| * **Размер словаря:** 64,000 токенов. |
| * **Поддерживаемые языки:** Английский, Русский, Китайский и Код (Python). |
| * **Спецтокены:** Включает разметку ChatML и теги для Chain-of-Thought (размышлений). |
|
|
| ### 🔠 Специальные токены |
| Токенизатор содержит следующие зарезервированные токены, каждый из которых занимает ровно 1 позицию в словаре: |
| * `<|im_start|>`, `<|im_end|>` — маркеры начала и конца реплики в диалоге. |
| * `<|think|>`, `<|/think|>` — маркеры для скрытого процесса размышлений (Chain of Thought). |
|
|
| ## 🚀 Использование |
|
|
| Вы можете легко загрузить этот токенизатор с помощью библиотеки `tokenizers` от Hugging Face: |
|
|
| ```python |
| from tokenizers import Tokenizer |
| |
| tokenizer = Tokenizer.from_pretrained("ExtraX1/TinyCyclic-Tokenizer") |
| |
| text = "Привет, у меня аллергия на мандарины" |
| encoded = tokenizer.encode(text) |
| |
| print("Токены:", encoded.tokens) |
| print("Количество токенов:", len(encoded.tokens)) |
| ``` |
|
|
| 🛠️ Обучение |
| Исходный код для обучения этого токенизатора доступен в файле train_tokenizer.py. |
| Скрипт использует датасеты wikimedia/wikipedia и codeparrot/codeparrot-clean для балансировки 4 доменов (EN, RU, ZH, Code). |
