Hugging Face's logo

Spaces:
codeninja3d
/
minigpt-multi
Running

App Files Community
Murali Chandran commited on
Commit
5822909
·
1 Parent(s): dd2fdf7

vocab.json: include <EOS>; total 95 tokens

Browse files
Files changed (1) hide show
  1. vocab.json +92 -8
vocab.json CHANGED
@@ -3,13 +3,97 @@
3
  "<PAD>",
4
  "<UNK>",
5
  "<EOS>",
 
6
  " ",
7
- "0","1","2","3","4","5","6","7","8","9",
8
- "+","-","×","÷","=","?","/","*",
9
- ".",",","(",")","[","]",":","'","\"",
10
- "$","£","€","₹","¥","₩","₦",
11
- "A","B","C","D","E","F","G","H","I","J","K","L","M","N","O","P","Q","R","S","T","U","V","W","X","Y","Z",
12
- "a","b","c","d","e","f","g","h","i","j","k","l","m","n","o","p","q","r","s","t","u","v","w","x","y","z",
13
- " "
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
14
  ]
15
- }
 
3
  "<PAD>",
4
  "<UNK>",
5
  "<EOS>",
6
+ "\n",
7
  " ",
8
+ "\"",
9
+ "$",
10
+ "'",
11
+ "(",
12
+ ")",
13
+ "*",
14
+ "+",
15
+ ",",
16
+ "-",
17
+ ".",
18
+ "/",
19
+ "0",
20
+ "1",
21
+ "2",
22
+ "3",
23
+ "4",
24
+ "5",
25
+ "6",
26
+ "7",
27
+ "8",
28
+ "9",
29
+ ":",
30
+ "<",
31
+ "=",
32
+ ">",
33
+ "?",
34
+ "A",
35
+ "B",
36
+ "C",
37
+ "D",
38
+ "E",
39
+ "F",
40
+ "G",
41
+ "H",
42
+ "I",
43
+ "J",
44
+ "K",
45
+ "L",
46
+ "M",
47
+ "N",
48
+ "O",
49
+ "P",
50
+ "Q",
51
+ "R",
52
+ "S",
53
+ "T",
54
+ "U",
55
+ "V",
56
+ "W",
57
+ "X",
58
+ "Y",
59
+ "Z",
60
+ "[",
61
+ "]",
62
+ "a",
63
+ "b",
64
+ "c",
65
+ "d",
66
+ "e",
67
+ "f",
68
+ "g",
69
+ "h",
70
+ "i",
71
+ "j",
72
+ "k",
73
+ "l",
74
+ "m",
75
+ "n",
76
+ "o",
77
+ "p",
78
+ "q",
79
+ "r",
80
+ "s",
81
+ "t",
82
+ "u",
83
+ "v",
84
+ "w",
85
+ "x",
86
+ "y",
87
+ "z",
88
+ "£",
89
+ "¥",
90
+ "×",
91
+ "÷",
92
+ "إ",
93
+ "د",
94
+ "₦",
95
+ "₩",
96
+ "€",
97
+ "₹"
98
  ]
99
+ }