IndexTeam
/

Index-Translate-2B

Model card Files Files and versions

可以使用这个2B模型作为9B的MTP草稿头吗？

#1

by qwased - opened 11 days ago

如题

Index Team org 11 days ago

技术上可行，但不建议，现在很少有投机解码的工作使用更小的模型作为草搞头了，一般是训练时直接做的mtp头，既能增强训练也能获得高效的投机解码.
我们的工作基于qwen3.5B base，因此默认没有在训练中开启mtp

Upload images, audio, and videos by dragging in the text input, pasting, or clicking here.

Tap or paste here to upload images

· Sign up or log in to comment