File size: 10,544 Bytes
b0ef25b
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363
364
365
366
367
368
369
370
371
372
373
374
375
376
377
378
379
380
381
382
383
384
385
386
387
388
389
390
391
392
393
394
395
396
397
398
399
400
401
402
403
404
405
406
407
408
409
410
411
412
413
{
  "base_model": "BAAI/bge-base-en-v1.5",
  "examples": 86430,
  "columns": [
    "anchor",
    "positive",
    "negative"
  ],
  "epochs": 1.0,
  "max_steps": -1,
  "batch_size": 32,
  "learning_rate": 2e-05,
  "max_seq_length": 256,
  "bf16": true,
  "train_seconds": 3487.3421123339795,
  "steps": 2700,
  "loss_history": [
    {
      "loss": 1.90216064453125,
      "grad_norm": 8.813470840454102,
      "learning_rate": 3.6296296296296302e-06,
      "epoch": 0.018518518518518517,
      "step": 50
    },
    {
      "loss": 1.5914712524414063,
      "grad_norm": 8.136347770690918,
      "learning_rate": 7.333333333333333e-06,
      "epoch": 0.037037037037037035,
      "step": 100
    },
    {
      "loss": 1.3720103454589845,
      "grad_norm": 9.455537796020508,
      "learning_rate": 1.1037037037037036e-05,
      "epoch": 0.05555555555555555,
      "step": 150
    },
    {
      "loss": 1.2407678985595703,
      "grad_norm": 9.676878929138184,
      "learning_rate": 1.4740740740740741e-05,
      "epoch": 0.07407407407407407,
      "step": 200
    },
    {
      "loss": 1.193242645263672,
      "grad_norm": 10.449532508850098,
      "learning_rate": 1.8444444444444448e-05,
      "epoch": 0.09259259259259259,
      "step": 250
    },
    {
      "loss": 1.1975428771972656,
      "grad_norm": 6.2368316650390625,
      "learning_rate": 1.9761316872427985e-05,
      "epoch": 0.1111111111111111,
      "step": 300
    },
    {
      "loss": 1.1544525146484375,
      "grad_norm": 10.520587921142578,
      "learning_rate": 1.934979423868313e-05,
      "epoch": 0.12962962962962962,
      "step": 350
    },
    {
      "loss": 1.1772991180419923,
      "grad_norm": 9.233002662658691,
      "learning_rate": 1.8938271604938275e-05,
      "epoch": 0.14814814814814814,
      "step": 400
    },
    {
      "loss": 1.1016326904296876,
      "grad_norm": 8.162128448486328,
      "learning_rate": 1.8526748971193416e-05,
      "epoch": 0.16666666666666666,
      "step": 450
    },
    {
      "loss": 1.0493043518066407,
      "grad_norm": 9.731849670410156,
      "learning_rate": 1.811522633744856e-05,
      "epoch": 0.18518518518518517,
      "step": 500
    },
    {
      "loss": 1.0801094055175782,
      "grad_norm": 9.363628387451172,
      "learning_rate": 1.7703703703703706e-05,
      "epoch": 0.2037037037037037,
      "step": 550
    },
    {
      "loss": 1.0625296783447267,
      "grad_norm": 9.028554916381836,
      "learning_rate": 1.7292181069958848e-05,
      "epoch": 0.2222222222222222,
      "step": 600
    },
    {
      "loss": 1.0570863342285157,
      "grad_norm": 9.345087051391602,
      "learning_rate": 1.6880658436213993e-05,
      "epoch": 0.24074074074074073,
      "step": 650
    },
    {
      "loss": 1.0371737670898438,
      "grad_norm": 9.374702453613281,
      "learning_rate": 1.6469135802469135e-05,
      "epoch": 0.25925925925925924,
      "step": 700
    },
    {
      "loss": 1.024561767578125,
      "grad_norm": 8.52325439453125,
      "learning_rate": 1.6057613168724283e-05,
      "epoch": 0.2777777777777778,
      "step": 750
    },
    {
      "loss": 1.0370603179931641,
      "grad_norm": 8.593149185180664,
      "learning_rate": 1.5646090534979425e-05,
      "epoch": 0.2962962962962963,
      "step": 800
    },
    {
      "loss": 1.0390088653564453,
      "grad_norm": 12.433076858520508,
      "learning_rate": 1.523456790123457e-05,
      "epoch": 0.3148148148148148,
      "step": 850
    },
    {
      "loss": 1.0581689453125,
      "grad_norm": 10.47889232635498,
      "learning_rate": 1.4823045267489713e-05,
      "epoch": 0.3333333333333333,
      "step": 900
    },
    {
      "loss": 0.9768775939941406,
      "grad_norm": 9.974201202392578,
      "learning_rate": 1.4411522633744856e-05,
      "epoch": 0.35185185185185186,
      "step": 950
    },
    {
      "loss": 1.0329425048828125,
      "grad_norm": 9.894181251525879,
      "learning_rate": 1.4e-05,
      "epoch": 0.37037037037037035,
      "step": 1000
    },
    {
      "loss": 0.9404330444335938,
      "grad_norm": 8.047454833984375,
      "learning_rate": 1.3588477366255147e-05,
      "epoch": 0.3888888888888889,
      "step": 1050
    },
    {
      "loss": 0.9647300720214844,
      "grad_norm": 8.719392776489258,
      "learning_rate": 1.317695473251029e-05,
      "epoch": 0.4074074074074074,
      "step": 1100
    },
    {
      "loss": 0.9528901672363281,
      "grad_norm": 8.965869903564453,
      "learning_rate": 1.2765432098765433e-05,
      "epoch": 0.42592592592592593,
      "step": 1150
    },
    {
      "loss": 0.9591020202636719,
      "grad_norm": 7.550216197967529,
      "learning_rate": 1.2353909465020576e-05,
      "epoch": 0.4444444444444444,
      "step": 1200
    },
    {
      "loss": 0.9727952575683594,
      "grad_norm": 8.96568489074707,
      "learning_rate": 1.1942386831275721e-05,
      "epoch": 0.46296296296296297,
      "step": 1250
    },
    {
      "loss": 0.9985672760009766,
      "grad_norm": 9.428631782531738,
      "learning_rate": 1.1530864197530865e-05,
      "epoch": 0.48148148148148145,
      "step": 1300
    },
    {
      "loss": 0.91361083984375,
      "grad_norm": 9.939436912536621,
      "learning_rate": 1.1119341563786008e-05,
      "epoch": 0.5,
      "step": 1350
    },
    {
      "loss": 0.9103067779541015,
      "grad_norm": 8.720749855041504,
      "learning_rate": 1.0707818930041153e-05,
      "epoch": 0.5185185185185185,
      "step": 1400
    },
    {
      "loss": 0.9731829833984375,
      "grad_norm": 9.771732330322266,
      "learning_rate": 1.0296296296296298e-05,
      "epoch": 0.5370370370370371,
      "step": 1450
    },
    {
      "loss": 0.9493965148925781,
      "grad_norm": 8.45134449005127,
      "learning_rate": 9.884773662551441e-06,
      "epoch": 0.5555555555555556,
      "step": 1500
    },
    {
      "loss": 0.9376078796386719,
      "grad_norm": 9.039739608764648,
      "learning_rate": 9.473251028806585e-06,
      "epoch": 0.5740740740740741,
      "step": 1550
    },
    {
      "loss": 0.9816674041748047,
      "grad_norm": 7.672746658325195,
      "learning_rate": 9.06172839506173e-06,
      "epoch": 0.5925925925925926,
      "step": 1600
    },
    {
      "loss": 0.9149788665771484,
      "grad_norm": 8.232927322387695,
      "learning_rate": 8.650205761316873e-06,
      "epoch": 0.6111111111111112,
      "step": 1650
    },
    {
      "loss": 0.8861636352539063,
      "grad_norm": 8.584454536437988,
      "learning_rate": 8.238683127572016e-06,
      "epoch": 0.6296296296296297,
      "step": 1700
    },
    {
      "loss": 0.91272216796875,
      "grad_norm": 9.116938591003418,
      "learning_rate": 7.82716049382716e-06,
      "epoch": 0.6481481481481481,
      "step": 1750
    },
    {
      "loss": 0.9235337829589844,
      "grad_norm": 8.22610092163086,
      "learning_rate": 7.415637860082306e-06,
      "epoch": 0.6666666666666666,
      "step": 1800
    },
    {
      "loss": 0.8774665069580078,
      "grad_norm": 8.568593978881836,
      "learning_rate": 7.004115226337449e-06,
      "epoch": 0.6851851851851852,
      "step": 1850
    },
    {
      "loss": 0.94243896484375,
      "grad_norm": 9.386469841003418,
      "learning_rate": 6.592592592592592e-06,
      "epoch": 0.7037037037037037,
      "step": 1900
    },
    {
      "loss": 0.9301541137695313,
      "grad_norm": 8.318994522094727,
      "learning_rate": 6.181069958847737e-06,
      "epoch": 0.7222222222222222,
      "step": 1950
    },
    {
      "loss": 0.8816480255126953,
      "grad_norm": 9.569400787353516,
      "learning_rate": 5.769547325102881e-06,
      "epoch": 0.7407407407407407,
      "step": 2000
    },
    {
      "loss": 0.8695026397705078,
      "grad_norm": 9.273565292358398,
      "learning_rate": 5.358024691358025e-06,
      "epoch": 0.7592592592592593,
      "step": 2050
    },
    {
      "loss": 0.9352601623535156,
      "grad_norm": 7.18208122253418,
      "learning_rate": 4.946502057613169e-06,
      "epoch": 0.7777777777777778,
      "step": 2100
    },
    {
      "loss": 0.8622205352783203,
      "grad_norm": 8.226902961730957,
      "learning_rate": 4.534979423868313e-06,
      "epoch": 0.7962962962962963,
      "step": 2150
    },
    {
      "loss": 0.8260211944580078,
      "grad_norm": 6.862387657165527,
      "learning_rate": 4.123456790123457e-06,
      "epoch": 0.8148148148148148,
      "step": 2200
    },
    {
      "loss": 0.8789755249023438,
      "grad_norm": 7.918735980987549,
      "learning_rate": 3.711934156378601e-06,
      "epoch": 0.8333333333333334,
      "step": 2250
    },
    {
      "loss": 0.8760028839111328,
      "grad_norm": 8.552267074584961,
      "learning_rate": 3.3004115226337452e-06,
      "epoch": 0.8518518518518519,
      "step": 2300
    },
    {
      "loss": 0.8948245239257813,
      "grad_norm": 10.386996269226074,
      "learning_rate": 2.888888888888889e-06,
      "epoch": 0.8703703703703703,
      "step": 2350
    },
    {
      "loss": 0.8505097198486328,
      "grad_norm": 7.5803303718566895,
      "learning_rate": 2.477366255144033e-06,
      "epoch": 0.8888888888888888,
      "step": 2400
    },
    {
      "loss": 0.8824570465087891,
      "grad_norm": 7.346485614776611,
      "learning_rate": 2.065843621399177e-06,
      "epoch": 0.9074074074074074,
      "step": 2450
    },
    {
      "loss": 0.8907173156738282,
      "grad_norm": 6.8943634033203125,
      "learning_rate": 1.6543209876543213e-06,
      "epoch": 0.9259259259259259,
      "step": 2500
    },
    {
      "loss": 0.818727798461914,
      "grad_norm": 7.4995036125183105,
      "learning_rate": 1.242798353909465e-06,
      "epoch": 0.9444444444444444,
      "step": 2550
    },
    {
      "loss": 0.8896253967285156,
      "grad_norm": 9.3857421875,
      "learning_rate": 8.312757201646091e-07,
      "epoch": 0.9629629629629629,
      "step": 2600
    },
    {
      "loss": 0.8606999969482422,
      "grad_norm": 8.371380805969238,
      "learning_rate": 4.197530864197531e-07,
      "epoch": 0.9814814814814815,
      "step": 2650
    },
    {
      "loss": 0.8769384765625,
      "grad_norm": 9.072931289672852,
      "learning_rate": 8.23045267489712e-09,
      "epoch": 1.0,
      "step": 2700
    }
  ],
  "sources": [
    "title",
    "task",
    "dwa",
    "composite",
    "synthetic"
  ],
  "hard_negatives": true,
  "fraction": 1.0,
  "pairs_by_source": {
    "title": 37034,
    "task": 15059,
    "synthetic": 14574,
    "dwa": 10898,
    "composite": 9133
  }
}