Shar137/two / evaluation /BENCH_STATICFP8.md
Shar137's picture
|
download
raw
1.41 kB
投机方式 并发 总吞吐 tok/s 单请求解码 tok/s(中位) 首 token 延迟 s(中位) 接受长度 接受率 相对不开投机
MTP(包内 BF16) C1 82.1 91.1 0.12 2.858 0.619 1.82×
MTP(包内 BF16) C4 293.3 84.0 0.15 2.844 0.615 1.96×
MTP(包内 BF16) C8 380.3 71.1 0.16 2.813 0.604 1.34×
MTP(包内 BF16) C16 612.7 60.1 0.17 2.747 0.582 1.45×
DFLASH2(外挂) C1 146.7 180.3 0.12 4.289 0.47 3.25×
DFLASH2(外挂) C4 384.9 124.4 0.16 3.982 0.425 2.57×
DFLASH2(外挂) C8 646.3 113.9 0.15 4.131 0.447 2.28×
DFLASH2(外挂) C16 1057.5 93.6 0.24 4.017 0.431 2.5×
不开投机 C1 45.1 45.6 0.11 — — 1.0×
不开投机 C4 149.5 42.2 0.13 — — 1.0×
不开投机 C8 283.0 41.7 0.12 — — 1.0×
不开投机 C16 422.8 38.4 0.13 — — 1.0×
投机方式 总吞吐最高 推荐并发(单请求不低于 C1 的 60%) 单请求最快
MTP(包内 BF16) C16(612.7 tok/s) C16 C1(91.1 tok/s)
DFLASH2(外挂) C16(1057.5 tok/s) C8 C1(180.3 tok/s)
不开投机 C16(422.8 tok/s) C16 C1(45.6 tok/s)

Xet Storage Details

Size:
1.41 kB
·
Xet hash:
0b61513557531357ce4f47b02d240fee717efe4d45f8dc52c982aa9444cd8a09

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.