| ---
|
| language:
|
| - zh
|
| - en
|
| license: cc-by-nc-sa-4.0
|
| library_name: transformers
|
| pipeline_tag: text-generation
|
| base_model: Qwen/Qwen3-8B
|
| tags:
|
| - financial
|
| - chinese
|
| - qwen3
|
| - lora
|
| - knowledge-extraction
|
| datasets:
|
| - USTC-KnowledgeComputingLab/FinLLM-EvalSets
|
| ---
|
|
|
| # FinLLM-V2-Qwen3-8B
|
|
|
| 金融领域大模型 V2.0。以 Qwen3-8B 为基座，同时承担两类任务：金融选择题问答与知识抽取（输出结构化 JSON）。
|
|
|
| 本仓库提供的是** 完整权重**，可直接用 `transformers` 加载，不需要额外适配器。
|
|
|
| ## 模型信息
|
|
|
| | 项目 | 设定 |
|
| |---|---|
|
| | 基座 | Qwen3-8B |
|
| | 参数量 | 8.19B（16,381,470,720 字节，bf16） |
|
| | 架构 | Qwen3ForCausalLM（hidden 4096，36 层） |
|
| | 精度 | bfloat16 |
|
| | 训练方式 | LoRA（r=16，α=32，作用于 7 个投影层）后合并 |
|
| | 可训练参数 | 约 0.53% |
|
| | 训练轮数 | 2 epoch（按验证损失选第 2 轮） |
|
| | 学习率 | 1e-4 |
|
| | 序列长度 | 4096 |
|
| | 批大小 | 单卡 4，梯度累积 4 |
|
|
|
| 训练数据为三类混合：知识抽取指令数据（四元组 JSON）、金融概念选择题、专项补强题。混合的目的是在学习抽取格式的同时不损失选择题能力。
|
|
|
| ## 两个任务
|
|
|
| ### 选择题
|
|
|
| 验证集、5-shot、贪心解码、`max_new_tokens=16`：
|
|
|
| | 基准 | 题数 | 结果 |
|
| |---|---|---|
|
| | C-Eval 金融 4 科 | 186 | 132/186 = 70.97% |
|
| | FinEval 金融学术知识 | 1,151 | 857/1,151 = 74.46% |
|
|
|
| C-Eval 4 科明细：大学经济学 65.45%、工商管理 81.82%、注册会计师 71.43%、税务师 69.39%。
|
|
|
| H100 + torch 2.8 上复测结果与上述完全一致（132/186、857/1,151，逐科零偏差）。
|
|
|
| ### 知识抽取
|
|
|
| 从金融文本中抽取「主体 / 指标 / 时间 / 数值」四元组，输出 JSON。测试集 2,500 条，字段级评测：
|
|
|
| | 指标 | 结果 |
|
| |---|---|
|
| | 精确率 | 7,754/7,987 = 97.08% |
|
| | 召回率 | 7,754/8,182 = 94.77% |
|
| | F1 | 95.91% |
|
|
|
| 分字段：主体 82.4%、指标 96.5%、时间 99.2%、数值 96.5%（主体是已知弱项，抽取粒度偏粗）。
|
|
|
| ## 使用方法
|
|
|
| **必须关闭思考模式。** Qwen3 默认开启 thinking，在本项目的评测口径下会因输出预算被截断而拿不到答案：
|
|
|
| ```python
|
| from transformers import AutoModelForCausalLM, AutoTokenizer
|
|
|
| model_id = "USTC-KnowledgeComputingLab/FinLLM-V2-Qwen3-8B"
|
| tok = AutoTokenizer.from_pretrained(model_id)
|
| model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype="bfloat16", device_map="cuda")
|
|
|
| msgs = [{"role": "user", "content": "你好"}]
|
| text = tok.apply_chat_template(msgs, tokenize=False,
|
| add_generation_prompt=True,
|
| enable_thinking=False)
|
| ```
|
|
|
| 需要 `transformers >= 4.51`，低于此版本会报架构不识别。
|
|
|
| ## 已知限制
|
|
|
| - 未做人类偏好对齐
|
| - 知识抽取偶发不按 JSON 格式输出（实测约 1.7%），直接给出数值字符串，下游解析需要容错
|
| - 长文本中的同名多主体场景，主体归属可能判错
|
| - 金融数值、日期可能出错，需回原文核对
|
|
|
| ## 许可证
|
|
|
| 本模型以 **CC BY-NC-SA 4.0**（署名—非商业性使用—相同方式共享 4.0 国际）发布。
|
|
|
| - **署名**：使用时请注明模型来源与本项目名称，并附仓库链接
|
| - **非商业**：不得用于商业目的。商业授权请联系项目组
|
| - **相同方式共享**：基于本模型的衍生作品须以相同许可发布
|
|
|
| 基座 Qwen3-8B 本身采用 Apache-2.0，其许可条款不因本发布而改变。本仓库的微调权重采用 CC BY-NC-SA 4.0，与训练、评测所用基准数据的许可保持一致。
|
|
|
| 评测所用的 C-Eval、FinEval 数据遵循各自原始许可，引用时请注明原始基准与论文。
|
|
|
