Update README.md
Browse files
README.md
CHANGED
|
@@ -1,3 +1,42 @@
|
|
| 1 |
---
|
| 2 |
license: mit
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 3 |
---
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
---
|
| 2 |
license: mit
|
| 3 |
+
language:
|
| 4 |
+
- en
|
| 5 |
+
- ru
|
| 6 |
+
- zh
|
| 7 |
+
tags:
|
| 8 |
+
- tokenizer
|
| 9 |
+
- bpe
|
| 10 |
+
- tinycynic
|
| 11 |
---
|
| 12 |
+
|
| 13 |
+
# TinyCyclic Tokenizer
|
| 14 |
+
|
| 15 |
+
Кастомный BPE-токенизатор на **64,000 токенов**, разработанный специально для экспериментальной архитектуры [TinyCyclic](https://huggingface.co/ExtraX1/TinyCyclic-0.4B-Base).
|
| 16 |
+
|
| 17 |
+
## 📊 Характеристики
|
| 18 |
+
|
| 19 |
+
* **Тип:** Byte-Level BPE (совместим с GPT-2 / Llama / Qwen).
|
| 20 |
+
* **Размер словаря:** 64,000 токенов.
|
| 21 |
+
* **Поддерживаемые языки:** Английский, Русский, Китайский и Код (Python).
|
| 22 |
+
* **Спецтокены:** Включает разметку ChatML и теги для Chain-of-Thought (размышлений).
|
| 23 |
+
|
| 24 |
+
### 🔠 Специальные токены
|
| 25 |
+
Токенизатор содержит следующие зарезервированные токены, каждый из которых занимает ровно 1 позицию в словаре:
|
| 26 |
+
* `<|im_start|>`, `<|im_end|>` — маркеры начала и конца реплики в диалоге.
|
| 27 |
+
* `<|think|>`, `<|/think|>` — маркеры для скрытого процесса размышлений (Chain of Thought).
|
| 28 |
+
|
| 29 |
+
## 🚀 Использование
|
| 30 |
+
|
| 31 |
+
Вы можете легко загрузить этот токенизатор с помощью библиотеки `tokenizers` от Hugging Face:
|
| 32 |
+
|
| 33 |
+
```python
|
| 34 |
+
from tokenizers import Tokenizer
|
| 35 |
+
|
| 36 |
+
tokenizer = Tokenizer.from_pretrained("ExtraX1/TinyCyclic-Tokenizer")
|
| 37 |
+
|
| 38 |
+
text = "Привет, у меня аллергия на мандарины"
|
| 39 |
+
encoded = tokenizer.encode(text)
|
| 40 |
+
|
| 41 |
+
print("Токены:", encoded.tokens)
|
| 42 |
+
print("Количество токенов:", len(encoded.tokens))
|