Update README.md
Browse files
README.md
CHANGED
|
@@ -39,4 +39,9 @@ text = "Привет, у меня аллергия на мандарины"
|
|
| 39 |
encoded = tokenizer.encode(text)
|
| 40 |
|
| 41 |
print("Токены:", encoded.tokens)
|
| 42 |
-
print("Количество токенов:", len(encoded.tokens))
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 39 |
encoded = tokenizer.encode(text)
|
| 40 |
|
| 41 |
print("Токены:", encoded.tokens)
|
| 42 |
+
print("Количество токенов:", len(encoded.tokens))
|
| 43 |
+
```
|
| 44 |
+
|
| 45 |
+
🛠️ Обучение
|
| 46 |
+
Исходный код для обучения этого токенизатора доступен в файле train_tokenizer.py.
|
| 47 |
+
Скрипт использует датасеты wikimedia/wikipedia и codeparrot/codeparrot-clean для балансировки 4 доменов (EN, RU, ZH, Code).
|