ExtraX1 commited on
Commit
bd5f181
·
verified ·
1 Parent(s): 455359b

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +39 -0
README.md CHANGED
@@ -1,3 +1,42 @@
1
  ---
2
  license: mit
 
 
 
 
 
 
 
 
3
  ---
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
  ---
2
  license: mit
3
+ language:
4
+ - en
5
+ - ru
6
+ - zh
7
+ tags:
8
+ - tokenizer
9
+ - bpe
10
+ - tinycynic
11
  ---
12
+
13
+ # TinyCyclic Tokenizer
14
+
15
+ Кастомный BPE-токенизатор на **64,000 токенов**, разработанный специально для экспериментальной архитектуры [TinyCyclic](https://huggingface.co/ExtraX1/TinyCyclic-0.4B-Base).
16
+
17
+ ## 📊 Характеристики
18
+
19
+ * **Тип:** Byte-Level BPE (совместим с GPT-2 / Llama / Qwen).
20
+ * **Размер словаря:** 64,000 токенов.
21
+ * **Поддерживаемые языки:** Английский, Русский, Китайский и Код (Python).
22
+ * **Спецтокены:** Включает разметку ChatML и теги для Chain-of-Thought (размышлений).
23
+
24
+ ### 🔠 Специальные токены
25
+ Токенизатор содержит следующие зарезервированные токены, каждый из которых занимает ровно 1 позицию в словаре:
26
+ * `<|im_start|>`, `<|im_end|>` — маркеры начала и конца реплики в диалоге.
27
+ * `<|think|>`, `<|/think|>` — маркеры для скрытого процесса размышлений (Chain of Thought).
28
+
29
+ ## 🚀 Использование
30
+
31
+ Вы можете легко загрузить этот токенизатор с помощью библиотеки `tokenizers` от Hugging Face:
32
+
33
+ ```python
34
+ from tokenizers import Tokenizer
35
+
36
+ tokenizer = Tokenizer.from_pretrained("ExtraX1/TinyCyclic-Tokenizer")
37
+
38
+ text = "Привет, у меня аллергия на мандарины"
39
+ encoded = tokenizer.encode(text)
40
+
41
+ print("Токены:", encoded.tokens)
42
+ print("Количество токенов:", len(encoded.tokens))