Improve model card metadata and link to paper

#3
by nielsr HF Staff - opened
Files changed (2) hide show
  1. README.md +0 -8
  2. crossbreed_report.json +425 -0
README.md CHANGED
@@ -60,14 +60,6 @@ model-index:
60
  verified: false
61
  ---
62
 
63
- > ### 📱 Run it on your phone or a GPU-less PC → **POCKET** · 🚀 **[Try it live (CPU chat)](https://huggingface.co/spaces/FINAL-Bench/POCKET-35B-CPU)**
64
- > VIDRAFT's on-device family: a 35B model that runs on **iPhone** and on **CPU with no GPU** — stock `llama.cpp`, no fork.
65
- >
66
- > [![Live demo](https://img.shields.io/badge/🤗_Space-POCKET_CPU_chat-ffce3a)](https://huggingface.co/spaces/FINAL-Bench/POCKET-35B-CPU) [![Collection](https://img.shields.io/badge/📚-POCKET_collection-5dbf9a)](https://huggingface.co/collections/FINAL-Bench/pocket-models-6a618ee5d23eafb7e185a5c6) [![35B](https://img.shields.io/badge/POCKET--35B-GGUF-243456)](https://huggingface.co/FINAL-Bench/POCKET-35B-GGUF) [![KR MLX](https://img.shields.io/badge/POCKET--KR-iPhone-0f6e56)](https://huggingface.co/FINAL-Bench/POCKET-KR-MLX) [![EN](https://img.shields.io/badge/POCKET--EN-GGUF-185fa5)](https://huggingface.co/FINAL-Bench/POCKET-EN-GGUF)
67
-
68
- >
69
-
70
-
71
  # Darwin-4B-Genesis
72
 
73
  <p align="center">
 
60
  verified: false
61
  ---
62
 
 
 
 
 
 
 
 
 
63
  # Darwin-4B-Genesis
64
 
65
  <p align="center">
crossbreed_report.json ADDED
@@ -0,0 +1,425 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "method": "Darwin V6 FFN Cross-Architecture Breeding",
3
+ "father": "FINAL-Bench/Darwin-4B-David",
4
+ "mother": "Qwen/Qwen3.5-4B",
5
+ "best_score": 0.8600000000000001,
6
+ "best_genome": {
7
+ "layer_ratios": [
8
+ 0.20647537706794558,
9
+ 0.14823192392605827,
10
+ 0.0,
11
+ 0.17255649055377628,
12
+ 0.13624945227921445,
13
+ 0.01479710117133131,
14
+ 0.08801326081040438,
15
+ 0.0,
16
+ 0.06046052630532496,
17
+ 0.056009156141461305,
18
+ 0.0024092496762064264,
19
+ 0.1261309679397987,
20
+ 0.04828750057970729,
21
+ 0.053275827295554884,
22
+ 0.15780548864527766,
23
+ 0.0,
24
+ 0.0,
25
+ 0.14072768357469992,
26
+ 0.0,
27
+ 0.14538068622584463,
28
+ 0.06922625936437449,
29
+ 0.111020864912764,
30
+ 0.0,
31
+ 0.0,
32
+ 0.0,
33
+ 0.0,
34
+ 0.05803946391147091,
35
+ 0.07135313327306363,
36
+ 0.0,
37
+ 0.2911474201445217,
38
+ 0.19313766748231753,
39
+ 0.24353827123418265,
40
+ 0.2733483853035385,
41
+ 0.2552905188846425,
42
+ 0.24517950479346443,
43
+ 0.17269703961840893,
44
+ 0.05182227315946832,
45
+ 0.1261048170624301,
46
+ 0.030886470312547362,
47
+ 0.30040019496717263,
48
+ 0.01853314361778055,
49
+ 0.18194639710507124
50
+ ],
51
+ "frozen_layers": [
52
+ 15,
53
+ 16,
54
+ 22,
55
+ 23,
56
+ 24,
57
+ 25
58
+ ]
59
+ },
60
+ "frozen_layers": [
61
+ 15,
62
+ 16,
63
+ 22,
64
+ 23,
65
+ 24,
66
+ 25
67
+ ],
68
+ "father_layers": 42,
69
+ "mother_layers": 32,
70
+ "blend_dim": 9216,
71
+ "population": 10,
72
+ "steps": 50,
73
+ "history": [
74
+ {
75
+ "step": 1,
76
+ "best_score": 0.8033333333333333,
77
+ "step_best": 0.8033333333333333,
78
+ "mean_ratio": 0.06290678970639335,
79
+ "sigma": 0.0634404317603052
80
+ },
81
+ {
82
+ "step": 2,
83
+ "best_score": 0.8333333333333334,
84
+ "step_best": 0.8333333333333334,
85
+ "mean_ratio": 0.07781023986570348,
86
+ "sigma": 0.0646884194918551
87
+ },
88
+ {
89
+ "step": 3,
90
+ "best_score": 0.8333333333333334,
91
+ "step_best": 0.8333333333333334,
92
+ "mean_ratio": 0.08880605810847592,
93
+ "sigma": 0.06783077008249229
94
+ },
95
+ {
96
+ "step": 4,
97
+ "best_score": 0.8333333333333334,
98
+ "step_best": 0.8333333333333334,
99
+ "mean_ratio": 0.0875377099665294,
100
+ "sigma": 0.07246831497330888
101
+ },
102
+ {
103
+ "step": 5,
104
+ "best_score": 0.8333333333333334,
105
+ "step_best": 0.8333333333333334,
106
+ "mean_ratio": 0.07235673891852008,
107
+ "sigma": 0.07355498738778984
108
+ },
109
+ {
110
+ "step": 6,
111
+ "best_score": 0.8333333333333334,
112
+ "step_best": 0.8333333333333334,
113
+ "mean_ratio": 0.08893151321934065,
114
+ "sigma": 0.07863044719946359
115
+ },
116
+ {
117
+ "step": 7,
118
+ "best_score": 0.8600000000000001,
119
+ "step_best": 0.8600000000000001,
120
+ "mean_ratio": 0.10224743557856028,
121
+ "sigma": 0.08705722955505009
122
+ },
123
+ {
124
+ "step": 8,
125
+ "best_score": 0.8600000000000001,
126
+ "step_best": 0.8333333333333334,
127
+ "mean_ratio": 0.10904590150041411,
128
+ "sigma": 0.10103246785714566
129
+ },
130
+ {
131
+ "step": 9,
132
+ "best_score": 0.8600000000000001,
133
+ "step_best": 0.8333333333333334,
134
+ "mean_ratio": 0.12075370728399674,
135
+ "sigma": 0.11337025202197282
136
+ },
137
+ {
138
+ "step": 10,
139
+ "best_score": 0.8600000000000001,
140
+ "step_best": 0.8600000000000001,
141
+ "mean_ratio": 0.12633176528207413,
142
+ "sigma": 0.11807554992374279
143
+ },
144
+ {
145
+ "step": 11,
146
+ "best_score": 0.8600000000000001,
147
+ "step_best": 0.8066666666666666,
148
+ "mean_ratio": 0.1360039520684083,
149
+ "sigma": 0.12052408658697357
150
+ },
151
+ {
152
+ "step": 12,
153
+ "best_score": 0.8600000000000001,
154
+ "step_best": 0.8600000000000001,
155
+ "mean_ratio": 0.13936414687282414,
156
+ "sigma": 0.1289517265467281
157
+ },
158
+ {
159
+ "step": 13,
160
+ "best_score": 0.8600000000000001,
161
+ "step_best": 0.8066666666666666,
162
+ "mean_ratio": 0.14874480886048833,
163
+ "sigma": 0.13549734195764399
164
+ },
165
+ {
166
+ "step": 14,
167
+ "best_score": 0.8600000000000001,
168
+ "step_best": 0.8600000000000001,
169
+ "mean_ratio": 0.13908605940040214,
170
+ "sigma": 0.140514158071659
171
+ },
172
+ {
173
+ "step": 15,
174
+ "best_score": 0.8600000000000001,
175
+ "step_best": 0.8600000000000001,
176
+ "mean_ratio": 0.15050216822758744,
177
+ "sigma": 0.13797636310450967
178
+ },
179
+ {
180
+ "step": 16,
181
+ "best_score": 0.8600000000000001,
182
+ "step_best": 0.8333333333333334,
183
+ "mean_ratio": 0.14460856892680315,
184
+ "sigma": 0.14159146100351827
185
+ },
186
+ {
187
+ "step": 17,
188
+ "best_score": 0.8600000000000001,
189
+ "step_best": 0.8033333333333333,
190
+ "mean_ratio": 0.16025742024472867,
191
+ "sigma": 0.1422776654358227
192
+ },
193
+ {
194
+ "step": 18,
195
+ "best_score": 0.8600000000000001,
196
+ "step_best": 0.8300000000000001,
197
+ "mean_ratio": 0.15554231513226557,
198
+ "sigma": 0.13420694226282484
199
+ },
200
+ {
201
+ "step": 19,
202
+ "best_score": 0.8600000000000001,
203
+ "step_best": 0.8066666666666666,
204
+ "mean_ratio": 0.14643616444218682,
205
+ "sigma": 0.13023324254225802
206
+ },
207
+ {
208
+ "step": 20,
209
+ "best_score": 0.8600000000000001,
210
+ "step_best": 0.8066666666666666,
211
+ "mean_ratio": 0.14936636321246355,
212
+ "sigma": 0.12533258523547494
213
+ },
214
+ {
215
+ "step": 21,
216
+ "best_score": 0.8600000000000001,
217
+ "step_best": 0.7766666666666666,
218
+ "mean_ratio": 0.1534663446960059,
219
+ "sigma": 0.13762706492711088
220
+ },
221
+ {
222
+ "step": 22,
223
+ "best_score": 0.8600000000000001,
224
+ "step_best": 0.75,
225
+ "mean_ratio": 0.1627801122395406,
226
+ "sigma": 0.1505341747990411
227
+ },
228
+ {
229
+ "step": 23,
230
+ "best_score": 0.8600000000000001,
231
+ "step_best": 0.8333333333333334,
232
+ "mean_ratio": 0.15923176743481993,
233
+ "sigma": 0.14799216541987317
234
+ },
235
+ {
236
+ "step": 24,
237
+ "best_score": 0.8600000000000001,
238
+ "step_best": 0.7766666666666666,
239
+ "mean_ratio": 0.1677333219026785,
240
+ "sigma": 0.14774402574980733
241
+ },
242
+ {
243
+ "step": 25,
244
+ "best_score": 0.8600000000000001,
245
+ "step_best": 0.7733333333333333,
246
+ "mean_ratio": 0.16422066609570704,
247
+ "sigma": 0.13843034269180055
248
+ },
249
+ {
250
+ "step": 26,
251
+ "best_score": 0.8600000000000001,
252
+ "step_best": 0.7733333333333333,
253
+ "mean_ratio": 0.13906027861386117,
254
+ "sigma": 0.13242693786187337
255
+ },
256
+ {
257
+ "step": 27,
258
+ "best_score": 0.8600000000000001,
259
+ "step_best": 0.7466666666666666,
260
+ "mean_ratio": 0.15264091379157918,
261
+ "sigma": 0.12790371883066087
262
+ },
263
+ {
264
+ "step": 28,
265
+ "best_score": 0.8600000000000001,
266
+ "step_best": 0.7766666666666666,
267
+ "mean_ratio": 0.15489601769619152,
268
+ "sigma": 0.12755566453158676
269
+ },
270
+ {
271
+ "step": 29,
272
+ "best_score": 0.8600000000000001,
273
+ "step_best": 0.8300000000000001,
274
+ "mean_ratio": 0.1569011973937426,
275
+ "sigma": 0.1408499857258934
276
+ },
277
+ {
278
+ "step": 30,
279
+ "best_score": 0.8600000000000001,
280
+ "step_best": 0.8033333333333333,
281
+ "mean_ratio": 0.15239983824794084,
282
+ "sigma": 0.1401183829818277
283
+ },
284
+ {
285
+ "step": 31,
286
+ "best_score": 0.8600000000000001,
287
+ "step_best": 0.75,
288
+ "mean_ratio": 0.16504790158283703,
289
+ "sigma": 0.1397318196414391
290
+ },
291
+ {
292
+ "step": 32,
293
+ "best_score": 0.8600000000000001,
294
+ "step_best": 0.7166666666666666,
295
+ "mean_ratio": 0.17022579569707286,
296
+ "sigma": 0.14776185561134852
297
+ },
298
+ {
299
+ "step": 33,
300
+ "best_score": 0.8600000000000001,
301
+ "step_best": 0.75,
302
+ "mean_ratio": 0.16990917826740068,
303
+ "sigma": 0.1511193869383969
304
+ },
305
+ {
306
+ "step": 34,
307
+ "best_score": 0.8600000000000001,
308
+ "step_best": 0.75,
309
+ "mean_ratio": 0.1662469295861985,
310
+ "sigma": 0.14280401329995637
311
+ },
312
+ {
313
+ "step": 35,
314
+ "best_score": 0.8600000000000001,
315
+ "step_best": 0.7233333333333334,
316
+ "mean_ratio": 0.15841638718823015,
317
+ "sigma": 0.14253965477777314
318
+ },
319
+ {
320
+ "step": 36,
321
+ "best_score": 0.8600000000000001,
322
+ "step_best": 0.7766666666666666,
323
+ "mean_ratio": 0.15146795147357647,
324
+ "sigma": 0.1439933714094963
325
+ },
326
+ {
327
+ "step": 37,
328
+ "best_score": 0.8600000000000001,
329
+ "step_best": 0.69,
330
+ "mean_ratio": 0.16384951542843323,
331
+ "sigma": 0.14494179174105692
332
+ },
333
+ {
334
+ "step": 38,
335
+ "best_score": 0.8600000000000001,
336
+ "step_best": 0.75,
337
+ "mean_ratio": 0.1537324421566684,
338
+ "sigma": 0.14168105367926756
339
+ },
340
+ {
341
+ "step": 39,
342
+ "best_score": 0.8600000000000001,
343
+ "step_best": 0.6633333333333333,
344
+ "mean_ratio": 0.15970050125209775,
345
+ "sigma": 0.14510887362344935
346
+ },
347
+ {
348
+ "step": 40,
349
+ "best_score": 0.8600000000000001,
350
+ "step_best": 0.75,
351
+ "mean_ratio": 0.17459025377647835,
352
+ "sigma": 0.14284720765256412
353
+ },
354
+ {
355
+ "step": 41,
356
+ "best_score": 0.8600000000000001,
357
+ "step_best": 0.7166666666666666,
358
+ "mean_ratio": 0.17482397301205677,
359
+ "sigma": 0.141806358821768
360
+ },
361
+ {
362
+ "step": 42,
363
+ "best_score": 0.8600000000000001,
364
+ "step_best": 0.8066666666666666,
365
+ "mean_ratio": 0.17565062165216766,
366
+ "sigma": 0.13769978752156617
367
+ },
368
+ {
369
+ "step": 43,
370
+ "best_score": 0.8600000000000001,
371
+ "step_best": 0.78,
372
+ "mean_ratio": 0.18855555348725378,
373
+ "sigma": 0.154657603603785
374
+ },
375
+ {
376
+ "step": 44,
377
+ "best_score": 0.8600000000000001,
378
+ "step_best": 0.69,
379
+ "mean_ratio": 0.19082400740817784,
380
+ "sigma": 0.1574354863056092
381
+ },
382
+ {
383
+ "step": 45,
384
+ "best_score": 0.8600000000000001,
385
+ "step_best": 0.6866666666666666,
386
+ "mean_ratio": 0.19942602590353126,
387
+ "sigma": 0.15601461390541457
388
+ },
389
+ {
390
+ "step": 46,
391
+ "best_score": 0.8600000000000001,
392
+ "step_best": 0.69,
393
+ "mean_ratio": 0.20906959596828187,
394
+ "sigma": 0.17428205146474535
395
+ },
396
+ {
397
+ "step": 47,
398
+ "best_score": 0.8600000000000001,
399
+ "step_best": 0.75,
400
+ "mean_ratio": 0.20388207036040726,
401
+ "sigma": 0.17887711098551665
402
+ },
403
+ {
404
+ "step": 48,
405
+ "best_score": 0.8600000000000001,
406
+ "step_best": 0.7166666666666666,
407
+ "mean_ratio": 0.20167068354690648,
408
+ "sigma": 0.16735493919167624
409
+ },
410
+ {
411
+ "step": 49,
412
+ "best_score": 0.8600000000000001,
413
+ "step_best": 0.8066666666666666,
414
+ "mean_ratio": 0.19931687316581534,
415
+ "sigma": 0.16107798896733172
416
+ },
417
+ {
418
+ "step": 50,
419
+ "best_score": 0.8600000000000001,
420
+ "step_best": 0.8300000000000001,
421
+ "mean_ratio": 0.17980169993450223,
422
+ "sigma": 0.15804274374915395
423
+ }
424
+ ]
425
+ }