关于 qwen_infer.py 和推理细节的请教
#1
by ShuziZou - opened
你好 @linzhe ,感谢你开源这个小说人物性格 Embedding 模型,非常有意思!
我在本地部署时,MLP 部分已经跑通,但 Qwen 描述生成部分遇到了一些困难。模型卡里的示例代码引用了 qwen_infer.py,但下载的仓库文件中没有这个文件,所以想向你请教几个关键细节:
推理用的 prompt 模板是什么?例如软 Token 后面接的文本具体是什么格式?
LoRA 的 lora_alpha 训练时设的是多少?
软 Token 的拼接位置:是放在 prompt 前面还是后面?
如果方便的话,能否公开 qwen_infer.py 或者 load_qwen / generate 函数的实现?
我按照 64维向量 → Projector → 4软Token → Qwen2.5-7B(LoRA) 的架构自己写了一个推理脚本,LoRA 能加载成功(unexpected=0),但生成内容不太稳定。如果能得到上述信息,应该就能正确复现你的效果了。
期待你的回复,谢谢!