ippocode commited on
Commit
da05bc4
·
verified ·
1 Parent(s): b18a538

Delete languages/te/tokens.txt with huggingface_hub

Browse files
Files changed (1) hide show
  1. languages/te/tokens.txt +0 -258
languages/te/tokens.txt DELETED
@@ -1,258 +0,0 @@
1
- <unk> 0
2
- ▁ప 1
3
- ని 2
4
- ార 3
5
- ్ర 4
6
- ▁క 5
7
- న్ 6
8
- ▁వ 7
9
- స్ 8
10
- ▁అ 9
11
- ర్ 10
12
- ▁మ 11
13
- ంద 12
14
- లు 13
15
- ▁స 14
16
- ▁చ 15
17
- లో 16
18
- కు 17
19
- ▁త 18
20
- ్య 19
21
- న్న 20
22
- గా 21
23
- ంచ 22
24
- ల్ 23
25
- ారు 24
26
- క్ 25
27
- ట్ 26
28
- ▁ర 27
29
- ను 28
30
- ంది 29
31
- తు 30
32
- ▁ప్ర 31
33
- ▁ఆ 32
34
- ాల 33
35
- రి 34
36
- డు 35
37
- ▁ఉ 36
38
- టి 37
39
- ▁చే 38
40
- ▁ఇ 39
41
- ▁న 40
42
- ▁ద 41
43
- డి 42
44
- ▁బ 43
45
- కి 44
46
- ంత 45
47
- యి 46
48
- ▁వి 47
49
- ప్ 48
50
- రు 49
51
- త్ 50
52
- లి 51
53
- ▁ఎ 52
54
- ంట 53
55
- ▁జ 54
56
- ▁గ 55
57
- ిన 56
58
- తి 57
59
- మా 58
60
- లా 59
61
- ించ 60
62
- ంలో 61
63
- ార్ 62
64
- ంగా 63
65
- డా 64
66
- ప్ప 65
67
- ▁ఈ 66
68
- సు 67
69
- టు 68
70
- ▁ని 69
71
- స్తు 70
72
- డ్ 71
73
- ద్ 72
74
- తో 73
75
- చ్ 74
76
- యా 75
77
- ▁రా 76
78
- నే 77
79
- లే 78
80
- ంగ 79
81
- ▁కా 80
82
- వా 81
83
- ష్ 82
84
- ది 83
85
- ్యా 84
86
- సి 85
87
- చ్చ 86
88
- న్ని 87
89
- న్నారు 88
90
- ▁స్ 89
91
- టీ 90
92
- దు 91
93
- నా 92
94
- ▁హ 93
95
- ▁భ 94
96
- ▁తె 95
97
- న్నా 96
98
- స్త 97
99
- ందు 98
100
- గు 99
101
- ండ 100
102
- ▁శ 101
103
- వు 102
104
- త్ర 103
105
- ▁చె 104
106
- ిక 105
107
- ▁సి 106
108
- రో 107
109
- పు 108
110
- రా 109
111
- నికి 110
112
- ళ్ 111
113
- మ్ 112
114
- వి 113
115
- ▁మా 114
116
- ▁ఏ 115
117
- ేశ 116
118
- క్ష 117
119
- ▁కొ 118
120
- ంచి 119
121
- ▁ఒ 120
122
- ▁కూ 121
123
- ారి 122
124
- ▁పా 123
125
- క్క 124
126
- ▁ఫ 125
127
- ▁పె 126
128
- ▁ము 127
129
- పై 128
130
- ్రా 129
131
- కా 130
132
- ▁వె 131
133
- ▁కో 132
134
- ంతో 133
135
- పో 134
136
- ▁సం 135
137
- ల్లో 136
138
- కో 137
139
- మి 138
140
- యం 139
141
- ▁తీ 140
142
- ▁కే 141
143
- ▁లే 142
144
- ▁కూడా 143
145
- ▁పో 144
146
- ైన 145
147
- లీ 146
148
- ారం 147
149
- మె 148
150
- లను 149
151
- లకు 150
152
- ష్ట 151
153
- డం 152
154
- ్రి 153
155
- ్వ 154
156
- ▁ను 155
157
- ప్పు 156
158
- యు 157
159
- ద్ద 158
160
- ▁మీ 159
161
- ాలు 160
162
- ▁చి 161
163
- నీ 162
164
- పీ 163
165
- ▁వా 164
166
- ▁ఒక 165
167
- గి 166
168
- ము 167
169
- ట్ట 168
170
- ▁సా 169
171
- తే 170
172
- ▁ట 171
173
- పా 172
174
- ంగ్ 173
175
- ▁లో 174
176
- ▁గు 175
177
- త్త 176
178
- ంటి 177
179
- పి 178
180
- ▁కు 179
181
- ▁నా 180
182
- బ్ 181
183
- ▁సిని 182
184
- ▁ 183
185
- ్ 184
186
- ి 185
187
- ా 186
188
- ు 187
189
- ర 188
190
- న 189
191
- ం 190
192
- ల 191
193
- క 192
194
- త 193
195
- ప 194
196
- స 195
197
- వ 196
198
- ద 197
199
- మ 198
200
- ట 199
201
- ో 200
202
- ే 201
203
- య 202
204
- చ 203
205
- డ 204
206
- గ 205
207
- ీ 206
208
- ె 207
209
- అ 208
210
- జ 209
211
- బ 210
212
- ూ 211
213
- శ 212
214
- ై 213
215
- ష 214
216
- ఆ 215
217
- ధ 216
218
- హ 217
219
- భ 218
220
- ొ 219
221
- ఉ 220
222
- ఇ 221
223
- ఎ 222
224
- ణ 223
225
- ళ 224
226
- ఈ 225
227
- థ 226
228
- ఫ 227
229
- ఖ 228
230
- ఏ 229
231
- ఒ 230
232
- ృ 231
233
- ౌ 232
234
- ఓ 233
235
- ఘ 234
236
- ఐ 235
237
- ఠ 236
238
- ఛ 237
239
- ఢ 238
240
- ఊ 239
241
- ఞ 240
242
- ఔ 241
243
- ః 242
244
- ఝ 243
245
- ఋ 244
246
- ఱ 245
247
- ఁ 246
248
- ఙ 247
249
- ౄ 248
250
- ౖ 249
251
- ఽ 250
252
- ౹ 251
253
- ౠ 252
254
- ౙ 253
255
- ఌ 254
256
- ౘ 255
257
- | 256
258
- <blk> 257