| | 投机方式 | 并发 | 总吞吐 tok/s | 单请求解码 tok/s（中位） | 首 token 延迟 s（中位） | 接受长度 | 接受率 | 相对不开投机 | | |
| |---|---|---|---|---|---|---|---| | |
| | MTP（包内 BF16） | C1 | 82.1 | 91.1 | 0.12 | 2.858 | 0.619 | 1.82× | | |
| | MTP（包内 BF16） | C4 | 293.3 | 84.0 | 0.15 | 2.844 | 0.615 | 1.96× | | |
| | MTP（包内 BF16） | C8 | 380.3 | 71.1 | 0.16 | 2.813 | 0.604 | 1.34× | | |
| | MTP（包内 BF16） | C16 | 612.7 | 60.1 | 0.17 | 2.747 | 0.582 | 1.45× | | |
| | DFLASH2（外挂） | C1 | 146.7 | 180.3 | 0.12 | 4.289 | 0.47 | 3.25× | | |
| | DFLASH2（外挂） | C4 | 384.9 | 124.4 | 0.16 | 3.982 | 0.425 | 2.57× | | |
| | DFLASH2（外挂） | C8 | 646.3 | 113.9 | 0.15 | 4.131 | 0.447 | 2.28× | | |
| | DFLASH2（外挂） | C16 | 1057.5 | 93.6 | 0.24 | 4.017 | 0.431 | 2.5× | | |
| | 不开投机 | C1 | 45.1 | 45.6 | 0.11 | — | — | 1.0× | | |
| | 不开投机 | C4 | 149.5 | 42.2 | 0.13 | — | — | 1.0× | | |
| | 不开投机 | C8 | 283.0 | 41.7 | 0.12 | — | — | 1.0× | | |
| | 不开投机 | C16 | 422.8 | 38.4 | 0.13 | — | — | 1.0× | | |
| | 投机方式 | 总吞吐最高 | 推荐并发（单请求不低于 C1 的 60%） | 单请求最快 | | |
| |---|---|---|---| | |
| | MTP（包内 BF16） | C16（612.7 tok/s） | C16 | C1（91.1 tok/s） | | |
| | DFLASH2（外挂） | C16（1057.5 tok/s） | C8 | C1（180.3 tok/s） | | |
| | 不开投机 | C16（422.8 tok/s） | C16 | C1（45.6 tok/s） | | |
Xet Storage Details
- Size:
- 1.41 kB
- Xet hash:
- 0b61513557531357ce4f47b02d240fee717efe4d45f8dc52c982aa9444cd8a09
·
Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.