melfatihomran
/

NLP-model

melfatihomran commited on Jun 14

Commit

884b1f0

verified ·

1 Parent(s): ca4c10f

Upload tokenizer_config.json with huggingface_hub

Files changed (1) hide show

tokenizer_config.json CHANGED Viewed

@@ -1,49 +1,49 @@
-{
-  "backend": "tokenizers",
-  "cls_token": "[CLS]",
-  "do_basic_tokenize": true,
-  "do_lower_case": false,
-  "is_local": false,
-  "mask_token": "[MASK]",
-  "max_len": 512,
-  "model_max_length": 512,
-  "never_split": [
-    "+ك",
-    "+كما",
-    "ك+",
-    "+وا",
-    "+ين",
-    "و+",
-    "+كن",
-    "+ان",
-    "+هم",
-    "+ة",
-    "[بريد]",
-    "لل+",
-    "+ي",
-    "+ت",
-    "+ن",
-    "س+",
-    "ل+",
-    "[مستخدم]",
-    "+كم",
-    "+ا",
-    "ب+",
-    "ف+",
-    "+نا",
-    "+ها",
-    "+ون",
-    "+هما",
-    "ال+",
-    "+ه",
-    "+هن",
-    "+ات",
-    "[رابط]"
-  ],
-  "pad_token": "[PAD]",
-  "sep_token": "[SEP]",
-  "strip_accents": null,
-  "tokenize_chinese_chars": true,
-  "tokenizer_class": "BertTokenizer",
-  "unk_token": "[UNK]"
-}

+{
+  "backend": "tokenizers",
+  "cls_token": "[CLS]",
+  "do_basic_tokenize": true,
+  "do_lower_case": false,
+  "is_local": false,
+  "mask_token": "[MASK]",
+  "max_len": 512,
+  "model_max_length": 512,
+  "never_split": [
+    "+ك",
+    "+كما",
+    "ك+",
+    "+وا",
+    "+ين",
+    "و+",
+    "+كن",
+    "+ان",
+    "+هم",
+    "+ة",
+    "[بريد]",
+    "لل+",
+    "+ي",
+    "+ت",
+    "+ن",
+    "س+",
+    "ل+",
+    "[مستخدم]",
+    "+كم",
+    "+ا",
+    "ب+",
+    "ف+",
+    "+نا",
+    "+ها",
+    "+ون",
+    "+هما",
+    "ال+",
+    "+ه",
+    "+هن",
+    "+ات",
+    "[رابط]"
+  ],
+  "pad_token": "[PAD]",
+  "sep_token": "[SEP]",
+  "strip_accents": null,
+  "tokenize_chinese_chars": true,
+  "tokenizer_class": "BertTokenizer",
+  "unk_token": "[UNK]"
+}