Hugging Face's logo

mrsandip
/
Alfa-Code

Text Generation
Transformers
Safetensors
GGUF
English
code
code-generation
multimodal
llama
conversational
Model card Files
xet
 Community
mrsandip commited on
Commit
0566b60
·
verified ·
1 Parent(s): dc1f1b0

Upload folder using huggingface_hub

Browse files
Files changed (8) hide show
  1. outputs/tiny-50M/checkpoint-94/config.json +1 -1
  2. outputs/tiny-50M/checkpoint-94/generation_config.json +1 -1
  3. outputs/tiny-50M/checkpoint-94/model.safetensors +1 -1
  4. outputs/tiny-50M/checkpoint-94/optimizer.pt +1 -1
  5. outputs/tiny-50M/checkpoint-94/trainer_state.json +94 -94
  6. outputs/tiny-50M/config.json +1 -1
  7. outputs/tiny-50M/generation_config.json +1 -1
  8. outputs/tiny-50M/model.safetensors +1 -1
outputs/tiny-50M/checkpoint-94/config.json CHANGED
@@ -26,7 +26,7 @@
26
  "rope_type": "default"
27
  },
28
  "tie_word_embeddings": false,
29
- "transformers_version": "5.17.0",
30
  "use_cache": false,
31
  "vocab_size": 32000
32
  }
 
26
  "rope_type": "default"
27
  },
28
  "tie_word_embeddings": false,
29
+ "transformers_version": "5.18.0",
30
  "use_cache": false,
31
  "vocab_size": 32000
32
  }
outputs/tiny-50M/checkpoint-94/generation_config.json CHANGED
@@ -4,6 +4,6 @@
4
  "eos_token_id": 2,
5
  "output_attentions": false,
6
  "output_hidden_states": false,
7
- "transformers_version": "5.17.0",
8
  "use_cache": true
9
  }
 
4
  "eos_token_id": 2,
5
  "output_attentions": false,
6
  "output_hidden_states": false,
7
+ "transformers_version": "5.18.0",
8
  "use_cache": true
9
  }
outputs/tiny-50M/checkpoint-94/model.safetensors CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:2b9fb1f7af272e9a9644c5e3678b34d4e29ad2a4924f2dcff49f31754c179122
3
  size 223914096
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:1d450294d310c055ba8d0dc04bd3d11b411942362fbb2c02680a720be70292fe
3
  size 223914096
outputs/tiny-50M/checkpoint-94/optimizer.pt CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:164aa4481747f64b743e536317c1f0f4ef73c1837ecf9f5b066f5cb92bff9d8c
3
  size 447876619
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:4b7f4db4309c5d535517942745af9b6d0034648c9888749f1a22addac35fe662
3
  size 447876619
outputs/tiny-50M/checkpoint-94/trainer_state.json CHANGED
@@ -11,331 +11,331 @@
11
  "log_history": [
12
  {
13
  "epoch": 0.021333333333333333,
14
- "grad_norm": 31.862403869628906,
15
  "learning_rate": 0.00029680851063829784,
16
- "loss": 8.389720916748047,
17
  "step": 2
18
  },
19
  {
20
  "epoch": 0.042666666666666665,
21
- "grad_norm": 11.058799743652344,
22
  "learning_rate": 0.0002904255319148936,
23
- "loss": 2.381551742553711,
24
  "step": 4
25
  },
26
  {
27
  "epoch": 0.064,
28
- "grad_norm": 4.813382148742676,
29
  "learning_rate": 0.00028404255319148934,
30
- "loss": 1.8818929195404053,
31
  "step": 6
32
  },
33
  {
34
  "epoch": 0.08533333333333333,
35
- "grad_norm": 2.496689558029175,
36
  "learning_rate": 0.00027765957446808506,
37
- "loss": 1.5847657918930054,
38
  "step": 8
39
  },
40
  {
41
  "epoch": 0.10666666666666667,
42
- "grad_norm": 1.5894230604171753,
43
  "learning_rate": 0.00027127659574468084,
44
- "loss": 1.4581847190856934,
45
  "step": 10
46
  },
47
  {
48
  "epoch": 0.128,
49
- "grad_norm": 0.8819889426231384,
50
  "learning_rate": 0.00026489361702127656,
51
- "loss": 1.482663631439209,
52
  "step": 12
53
  },
54
  {
55
  "epoch": 0.14933333333333335,
56
- "grad_norm": 1.6754683256149292,
57
  "learning_rate": 0.0002585106382978723,
58
- "loss": 1.329911231994629,
59
  "step": 14
60
  },
61
  {
62
  "epoch": 0.17066666666666666,
63
- "grad_norm": 1.8690581321716309,
64
  "learning_rate": 0.00025212765957446806,
65
- "loss": 1.581055760383606,
66
  "step": 16
67
  },
68
  {
69
  "epoch": 0.192,
70
- "grad_norm": 1.6431370973587036,
71
  "learning_rate": 0.00024574468085106384,
72
- "loss": 1.153538465499878,
73
  "step": 18
74
  },
75
  {
76
  "epoch": 0.21333333333333335,
77
- "grad_norm": 0.5803090333938599,
78
  "learning_rate": 0.00023936170212765956,
79
- "loss": 1.1778672933578491,
80
  "step": 20
81
  },
82
  {
83
  "epoch": 0.23466666666666666,
84
- "grad_norm": 0.5478852391242981,
85
  "learning_rate": 0.00023297872340425529,
86
- "loss": 0.7244306802749634,
87
  "step": 22
88
  },
89
  {
90
  "epoch": 0.256,
91
- "grad_norm": 0.4792504608631134,
92
  "learning_rate": 0.00022659574468085106,
93
- "loss": 0.8322479128837585,
94
  "step": 24
95
  },
96
  {
97
  "epoch": 0.2773333333333333,
98
- "grad_norm": 0.41848576068878174,
99
  "learning_rate": 0.00022021276595744679,
100
- "loss": 0.9393182992935181,
101
  "step": 26
102
  },
103
  {
104
  "epoch": 0.2986666666666667,
105
- "grad_norm": 0.4018993079662323,
106
  "learning_rate": 0.00021382978723404254,
107
- "loss": 1.2811802625656128,
108
  "step": 28
109
  },
110
  {
111
  "epoch": 0.32,
112
- "grad_norm": 0.32911017537117004,
113
  "learning_rate": 0.0002074468085106383,
114
- "loss": 0.6985734105110168,
115
  "step": 30
116
  },
117
  {
118
  "epoch": 0.3413333333333333,
119
- "grad_norm": 0.28459230065345764,
120
  "learning_rate": 0.00020106382978723404,
121
- "loss": 0.8068842887878418,
122
  "step": 32
123
  },
124
  {
125
  "epoch": 0.3626666666666667,
126
- "grad_norm": 0.26008141040802,
127
  "learning_rate": 0.00019468085106382976,
128
- "loss": 0.7642489075660706,
129
  "step": 34
130
  },
131
  {
132
  "epoch": 0.384,
133
- "grad_norm": 0.194889634847641,
134
  "learning_rate": 0.0001882978723404255,
135
- "loss": 0.806276261806488,
136
  "step": 36
137
  },
138
  {
139
  "epoch": 0.4053333333333333,
140
- "grad_norm": 0.17890618741512299,
141
  "learning_rate": 0.00018191489361702126,
142
- "loss": 0.5800381898880005,
143
  "step": 38
144
  },
145
  {
146
  "epoch": 0.4266666666666667,
147
- "grad_norm": 0.20200501382350922,
148
  "learning_rate": 0.000175531914893617,
149
- "loss": 0.7709328532218933,
150
  "step": 40
151
  },
152
  {
153
  "epoch": 0.448,
154
- "grad_norm": 0.18727269768714905,
155
  "learning_rate": 0.00016914893617021274,
156
- "loss": 0.7505430579185486,
157
  "step": 42
158
  },
159
  {
160
  "epoch": 0.4693333333333333,
161
- "grad_norm": 0.16852803528308868,
162
  "learning_rate": 0.00016276595744680849,
163
- "loss": 0.5352048277854919,
164
  "step": 44
165
  },
166
  {
167
  "epoch": 0.49066666666666664,
168
- "grad_norm": 0.14398379623889923,
169
  "learning_rate": 0.00015638297872340426,
170
- "loss": 0.7207643389701843,
171
  "step": 46
172
  },
173
  {
174
  "epoch": 0.512,
175
- "grad_norm": 0.14859481155872345,
176
  "learning_rate": 0.00015,
177
- "loss": 0.7854461073875427,
178
  "step": 48
179
  },
180
  {
181
  "epoch": 0.5333333333333333,
182
- "grad_norm": 0.1408415287733078,
183
  "learning_rate": 0.00014361702127659574,
184
- "loss": 0.7743673920631409,
185
  "step": 50
186
  },
187
  {
188
  "epoch": 0.5546666666666666,
189
- "grad_norm": 0.16242878139019012,
190
  "learning_rate": 0.0001372340425531915,
191
- "loss": 0.8372642397880554,
192
  "step": 52
193
  },
194
  {
195
  "epoch": 0.576,
196
- "grad_norm": 0.16274632513523102,
197
  "learning_rate": 0.00013085106382978724,
198
- "loss": 0.779391884803772,
199
  "step": 54
200
  },
201
  {
202
  "epoch": 0.5973333333333334,
203
- "grad_norm": 0.2248552292585373,
204
  "learning_rate": 0.00012446808510638296,
205
- "loss": 0.8379530906677246,
206
  "step": 56
207
  },
208
  {
209
  "epoch": 0.6186666666666667,
210
- "grad_norm": 0.14116479456424713,
211
  "learning_rate": 0.00011808510638297871,
212
- "loss": 0.6415953636169434,
213
  "step": 58
214
  },
215
  {
216
  "epoch": 0.64,
217
- "grad_norm": 0.13398732244968414,
218
  "learning_rate": 0.00011170212765957445,
219
- "loss": 0.7219417095184326,
220
  "step": 60
221
  },
222
  {
223
  "epoch": 0.6613333333333333,
224
- "grad_norm": 0.20736755430698395,
225
  "learning_rate": 0.0001053191489361702,
226
- "loss": 0.8285687565803528,
227
  "step": 62
228
  },
229
  {
230
  "epoch": 0.6826666666666666,
231
- "grad_norm": 0.17111997306346893,
232
  "learning_rate": 9.893617021276594e-05,
233
- "loss": 0.8559767007827759,
234
  "step": 64
235
  },
236
  {
237
  "epoch": 0.704,
238
- "grad_norm": 0.16806529462337494,
239
  "learning_rate": 9.25531914893617e-05,
240
- "loss": 0.9323387742042542,
241
  "step": 66
242
  },
243
  {
244
  "epoch": 0.7253333333333334,
245
- "grad_norm": 0.13731850683689117,
246
  "learning_rate": 8.617021276595745e-05,
247
- "loss": 0.731183648109436,
248
  "step": 68
249
  },
250
  {
251
  "epoch": 0.7466666666666667,
252
- "grad_norm": 0.1601666361093521,
253
  "learning_rate": 7.978723404255319e-05,
254
- "loss": 0.6633274555206299,
255
  "step": 70
256
  },
257
  {
258
  "epoch": 0.768,
259
- "grad_norm": 0.5602055788040161,
260
  "learning_rate": 7.340425531914892e-05,
261
- "loss": 0.7488805651664734,
262
  "step": 72
263
  },
264
  {
265
  "epoch": 0.7893333333333333,
266
- "grad_norm": 0.17465688288211823,
267
  "learning_rate": 6.702127659574467e-05,
268
- "loss": 0.9747301340103149,
269
  "step": 74
270
  },
271
  {
272
  "epoch": 0.8106666666666666,
273
- "grad_norm": 0.17136995494365692,
274
  "learning_rate": 6.063829787234042e-05,
275
- "loss": 0.6813010573387146,
276
  "step": 76
277
  },
278
  {
279
  "epoch": 0.832,
280
- "grad_norm": 0.14008334279060364,
281
  "learning_rate": 5.425531914893617e-05,
282
- "loss": 0.4879831075668335,
283
  "step": 78
284
  },
285
  {
286
  "epoch": 0.8533333333333334,
287
- "grad_norm": 0.25737741589546204,
288
  "learning_rate": 4.787234042553191e-05,
289
- "loss": 1.1122194528579712,
290
  "step": 80
291
  },
292
  {
293
  "epoch": 0.8746666666666667,
294
- "grad_norm": 0.12539656460285187,
295
  "learning_rate": 4.1489361702127656e-05,
296
- "loss": 0.5387322306632996,
297
  "step": 82
298
  },
299
  {
300
  "epoch": 0.896,
301
- "grad_norm": 0.4990805387496948,
302
  "learning_rate": 3.51063829787234e-05,
303
- "loss": 0.9127667546272278,
304
  "step": 84
305
  },
306
  {
307
  "epoch": 0.9173333333333333,
308
- "grad_norm": 0.7268335223197937,
309
  "learning_rate": 2.8723404255319147e-05,
310
- "loss": 0.8056328296661377,
311
  "step": 86
312
  },
313
  {
314
  "epoch": 0.9386666666666666,
315
- "grad_norm": 0.3958171308040619,
316
  "learning_rate": 2.234042553191489e-05,
317
- "loss": 0.9409083724021912,
318
  "step": 88
319
  },
320
  {
321
  "epoch": 0.96,
322
- "grad_norm": 0.7128500938415527,
323
  "learning_rate": 1.5957446808510637e-05,
324
- "loss": 0.8237624168395996,
325
  "step": 90
326
  },
327
  {
328
  "epoch": 0.9813333333333333,
329
- "grad_norm": 0.33358094096183777,
330
  "learning_rate": 9.574468085106381e-06,
331
- "loss": 0.7188647985458374,
332
  "step": 92
333
  },
334
  {
335
  "epoch": 1.0,
336
- "grad_norm": 0.258562296628952,
337
  "learning_rate": 3.1914893617021273e-06,
338
- "loss": 0.7248058915138245,
339
  "step": 94
340
  }
341
  ],
 
11
  "log_history": [
12
  {
13
  "epoch": 0.021333333333333333,
14
+ "grad_norm": 27.868202209472656,
15
  "learning_rate": 0.00029680851063829784,
16
+ "loss": 8.157167434692383,
17
  "step": 2
18
  },
19
  {
20
  "epoch": 0.042666666666666665,
21
+ "grad_norm": 13.859455108642578,
22
  "learning_rate": 0.0002904255319148936,
23
+ "loss": 2.6399335861206055,
24
  "step": 4
25
  },
26
  {
27
  "epoch": 0.064,
28
+ "grad_norm": 8.083123207092285,
29
  "learning_rate": 0.00028404255319148934,
30
+ "loss": 2.078390598297119,
31
  "step": 6
32
  },
33
  {
34
  "epoch": 0.08533333333333333,
35
+ "grad_norm": 5.325896263122559,
36
  "learning_rate": 0.00027765957446808506,
37
+ "loss": 1.7253539562225342,
38
  "step": 8
39
  },
40
  {
41
  "epoch": 0.10666666666666667,
42
+ "grad_norm": 3.6207308769226074,
43
  "learning_rate": 0.00027127659574468084,
44
+ "loss": 1.5509939193725586,
45
  "step": 10
46
  },
47
  {
48
  "epoch": 0.128,
49
+ "grad_norm": 1.4353423118591309,
50
  "learning_rate": 0.00026489361702127656,
51
+ "loss": 1.5628377199172974,
52
  "step": 12
53
  },
54
  {
55
  "epoch": 0.14933333333333335,
56
+ "grad_norm": 0.5287856459617615,
57
  "learning_rate": 0.0002585106382978723,
58
+ "loss": 1.4617233276367188,
59
  "step": 14
60
  },
61
  {
62
  "epoch": 0.17066666666666666,
63
+ "grad_norm": 0.6490349173545837,
64
  "learning_rate": 0.00025212765957446806,
65
+ "loss": 1.7032606601715088,
66
  "step": 16
67
  },
68
  {
69
  "epoch": 0.192,
70
+ "grad_norm": 3.063627243041992,
71
  "learning_rate": 0.00024574468085106384,
72
+ "loss": 1.1993221044540405,
73
  "step": 18
74
  },
75
  {
76
  "epoch": 0.21333333333333335,
77
+ "grad_norm": 1.0214952230453491,
78
  "learning_rate": 0.00023936170212765956,
79
+ "loss": 1.2365622520446777,
80
  "step": 20
81
  },
82
  {
83
  "epoch": 0.23466666666666666,
84
+ "grad_norm": 0.8437785506248474,
85
  "learning_rate": 0.00023297872340425529,
86
+ "loss": 0.7604359984397888,
87
  "step": 22
88
  },
89
  {
90
  "epoch": 0.256,
91
+ "grad_norm": 0.6444211006164551,
92
  "learning_rate": 0.00022659574468085106,
93
+ "loss": 0.845779538154602,
94
  "step": 24
95
  },
96
  {
97
  "epoch": 0.2773333333333333,
98
+ "grad_norm": 0.46379169821739197,
99
  "learning_rate": 0.00022021276595744679,
100
+ "loss": 0.927571177482605,
101
  "step": 26
102
  },
103
  {
104
  "epoch": 0.2986666666666667,
105
+ "grad_norm": 0.5278334617614746,
106
  "learning_rate": 0.00021382978723404254,
107
+ "loss": 1.2771258354187012,
108
  "step": 28
109
  },
110
  {
111
  "epoch": 0.32,
112
+ "grad_norm": 0.37028035521507263,
113
  "learning_rate": 0.0002074468085106383,
114
+ "loss": 0.6947563886642456,
115
  "step": 30
116
  },
117
  {
118
  "epoch": 0.3413333333333333,
119
+ "grad_norm": 0.3268958330154419,
120
  "learning_rate": 0.00020106382978723404,
121
+ "loss": 0.8038973212242126,
122
  "step": 32
123
  },
124
  {
125
  "epoch": 0.3626666666666667,
126
+ "grad_norm": 0.28546181321144104,
127
  "learning_rate": 0.00019468085106382976,
128
+ "loss": 0.7630670070648193,
129
  "step": 34
130
  },
131
  {
132
  "epoch": 0.384,
133
+ "grad_norm": 0.2332630455493927,
134
  "learning_rate": 0.0001882978723404255,
135
+ "loss": 0.8062828779220581,
136
  "step": 36
137
  },
138
  {
139
  "epoch": 0.4053333333333333,
140
+ "grad_norm": 0.2001950591802597,
141
  "learning_rate": 0.00018191489361702126,
142
+ "loss": 0.5785167217254639,
143
  "step": 38
144
  },
145
  {
146
  "epoch": 0.4266666666666667,
147
+ "grad_norm": 0.23346108198165894,
148
  "learning_rate": 0.000175531914893617,
149
+ "loss": 0.7716493010520935,
150
  "step": 40
151
  },
152
  {
153
  "epoch": 0.448,
154
+ "grad_norm": 0.22143609821796417,
155
  "learning_rate": 0.00016914893617021274,
156
+ "loss": 0.7512003183364868,
157
  "step": 42
158
  },
159
  {
160
  "epoch": 0.4693333333333333,
161
+ "grad_norm": 0.1841302216053009,
162
  "learning_rate": 0.00016276595744680849,
163
+ "loss": 0.5354293584823608,
164
  "step": 44
165
  },
166
  {
167
  "epoch": 0.49066666666666664,
168
+ "grad_norm": 0.16506025195121765,
169
  "learning_rate": 0.00015638297872340426,
170
+ "loss": 0.7202287316322327,
171
  "step": 46
172
  },
173
  {
174
  "epoch": 0.512,
175
+ "grad_norm": 0.15991899371147156,
176
  "learning_rate": 0.00015,
177
+ "loss": 0.7863003611564636,
178
  "step": 48
179
  },
180
  {
181
  "epoch": 0.5333333333333333,
182
+ "grad_norm": 0.15827640891075134,
183
  "learning_rate": 0.00014361702127659574,
184
+ "loss": 0.7746068835258484,
185
  "step": 50
186
  },
187
  {
188
  "epoch": 0.5546666666666666,
189
+ "grad_norm": 0.17626112699508667,
190
  "learning_rate": 0.0001372340425531915,
191
+ "loss": 0.8391730189323425,
192
  "step": 52
193
  },
194
  {
195
  "epoch": 0.576,
196
+ "grad_norm": 0.17872245609760284,
197
  "learning_rate": 0.00013085106382978724,
198
+ "loss": 0.7807156443595886,
199
  "step": 54
200
  },
201
  {
202
  "epoch": 0.5973333333333334,
203
+ "grad_norm": 0.2603297531604767,
204
  "learning_rate": 0.00012446808510638296,
205
+ "loss": 0.8399015069007874,
206
  "step": 56
207
  },
208
  {
209
  "epoch": 0.6186666666666667,
210
+ "grad_norm": 0.14779576659202576,
211
  "learning_rate": 0.00011808510638297871,
212
+ "loss": 0.6424157619476318,
213
  "step": 58
214
  },
215
  {
216
  "epoch": 0.64,
217
+ "grad_norm": 0.14715905487537384,
218
  "learning_rate": 0.00011170212765957445,
219
+ "loss": 0.7199504375457764,
220
  "step": 60
221
  },
222
  {
223
  "epoch": 0.6613333333333333,
224
+ "grad_norm": 0.23487859964370728,
225
  "learning_rate": 0.0001053191489361702,
226
+ "loss": 0.8269096612930298,
227
  "step": 62
228
  },
229
  {
230
  "epoch": 0.6826666666666666,
231
+ "grad_norm": 0.1857561469078064,
232
  "learning_rate": 9.893617021276594e-05,
233
+ "loss": 0.8558974266052246,
234
  "step": 64
235
  },
236
  {
237
  "epoch": 0.704,
238
+ "grad_norm": 0.1738223284482956,
239
  "learning_rate": 9.25531914893617e-05,
240
+ "loss": 0.9300681352615356,
241
  "step": 66
242
  },
243
  {
244
  "epoch": 0.7253333333333334,
245
+ "grad_norm": 0.14161506295204163,
246
  "learning_rate": 8.617021276595745e-05,
247
+ "loss": 0.7307680249214172,
248
  "step": 68
249
  },
250
  {
251
  "epoch": 0.7466666666666667,
252
+ "grad_norm": 0.1567554771900177,
253
  "learning_rate": 7.978723404255319e-05,
254
+ "loss": 0.6628752946853638,
255
  "step": 70
256
  },
257
  {
258
  "epoch": 0.768,
259
+ "grad_norm": 0.15578553080558777,
260
  "learning_rate": 7.340425531914892e-05,
261
+ "loss": 0.7492741346359253,
262
  "step": 72
263
  },
264
  {
265
  "epoch": 0.7893333333333333,
266
+ "grad_norm": 0.16779302060604095,
267
  "learning_rate": 6.702127659574467e-05,
268
+ "loss": 0.9778867363929749,
269
  "step": 74
270
  },
271
  {
272
  "epoch": 0.8106666666666666,
273
+ "grad_norm": 0.13921698927879333,
274
  "learning_rate": 6.063829787234042e-05,
275
+ "loss": 0.6866664886474609,
276
  "step": 76
277
  },
278
  {
279
  "epoch": 0.832,
280
+ "grad_norm": 0.12115991115570068,
281
  "learning_rate": 5.425531914893617e-05,
282
+ "loss": 0.4903963506221771,
283
  "step": 78
284
  },
285
  {
286
  "epoch": 0.8533333333333334,
287
+ "grad_norm": 0.2741177976131439,
288
  "learning_rate": 4.787234042553191e-05,
289
+ "loss": 1.1157170534133911,
290
  "step": 80
291
  },
292
  {
293
  "epoch": 0.8746666666666667,
294
+ "grad_norm": 0.20133326947689056,
295
  "learning_rate": 4.1489361702127656e-05,
296
+ "loss": 0.5434116125106812,
297
  "step": 82
298
  },
299
  {
300
  "epoch": 0.896,
301
+ "grad_norm": 0.2694286108016968,
302
  "learning_rate": 3.51063829787234e-05,
303
+ "loss": 0.9141523241996765,
304
  "step": 84
305
  },
306
  {
307
  "epoch": 0.9173333333333333,
308
+ "grad_norm": 0.16547797620296478,
309
  "learning_rate": 2.8723404255319147e-05,
310
+ "loss": 0.8089484572410583,
311
  "step": 86
312
  },
313
  {
314
  "epoch": 0.9386666666666666,
315
+ "grad_norm": 0.15740075707435608,
316
  "learning_rate": 2.234042553191489e-05,
317
+ "loss": 0.9444987177848816,
318
  "step": 88
319
  },
320
  {
321
  "epoch": 0.96,
322
+ "grad_norm": 0.18264970183372498,
323
  "learning_rate": 1.5957446808510637e-05,
324
+ "loss": 0.82979816198349,
325
  "step": 90
326
  },
327
  {
328
  "epoch": 0.9813333333333333,
329
+ "grad_norm": 0.15770860016345978,
330
  "learning_rate": 9.574468085106381e-06,
331
+ "loss": 0.7281199097633362,
332
  "step": 92
333
  },
334
  {
335
  "epoch": 1.0,
336
+ "grad_norm": 0.16419664025306702,
337
  "learning_rate": 3.1914893617021273e-06,
338
+ "loss": 0.7322009205818176,
339
  "step": 94
340
  }
341
  ],
outputs/tiny-50M/config.json CHANGED
@@ -26,7 +26,7 @@
26
  "rope_type": "default"
27
  },
28
  "tie_word_embeddings": false,
29
- "transformers_version": "5.17.0",
30
  "use_cache": false,
31
  "vocab_size": 32000
32
  }
 
26
  "rope_type": "default"
27
  },
28
  "tie_word_embeddings": false,
29
+ "transformers_version": "5.18.0",
30
  "use_cache": false,
31
  "vocab_size": 32000
32
  }
outputs/tiny-50M/generation_config.json CHANGED
@@ -4,6 +4,6 @@
4
  "eos_token_id": 2,
5
  "output_attentions": false,
6
  "output_hidden_states": false,
7
- "transformers_version": "5.17.0",
8
  "use_cache": true
9
  }
 
4
  "eos_token_id": 2,
5
  "output_attentions": false,
6
  "output_hidden_states": false,
7
+ "transformers_version": "5.18.0",
8
  "use_cache": true
9
  }
outputs/tiny-50M/model.safetensors CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:2b9fb1f7af272e9a9644c5e3678b34d4e29ad2a4924f2dcff49f31754c179122
3
  size 223914096
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:1d450294d310c055ba8d0dc04bd3d11b411942362fbb2c02680a720be70292fe
3
  size 223914096