Blame for Model_Card_ZH.md

---



license: other
license_name: s2-mas-controlled-research-v1.2
license_link: https://huggingface.co/ya9919/FinQ/blob/main/LICENSE

language:

- en

base_model: Qwen/Qwen3.5-4B-Base

tags:

- s2-mas

- financial-qa

- decision-head

- qwen3_5

- peft

- lora

---


# FinQ · Qwen3.5-4B-Base + LoRA + 决策 head · 200k QA

## 模型命名与实验标签

**FinQ——Qwen3.5-4B-Base + LoRA + 决策 head，200,000 条独立 QA** 指本仓库按 development 协议选出的 best checkpoint。[**FinL**](https://huggingface.co/ya9919/FinL) 是并列的英语基座完整六轮 encoder 路线，[**FinL-mlx**](https://huggingface.co/ya9919/FinL-mlx) 是其 MLX FP16 运行格式。上游模型名称保持为 **Qwen/Qwen3.5-4B-Base**；head-only、50k 和 9B Qwen 版本继续使用明确的比较版本名称。

论文：[S²-MAS](https://github.com/KataDavidXD/s2-mas/blob/main/paper/S2_MAS_Paper.pdf)。本卡片的比较口径为固定预算适配结果与相同下游评测方法。

<!-- consumptionqa-examples:start -->
## 测试集QA示例

以下4条QA摘录取自已有消费决策测试集，保留原始英文题干、选项和记录中的参考答案。完整家庭画像及原始标识不公开。答案对应原测试记录中的家庭，示例用于展示任务与标签格式；重新推理时需提供家庭状态。

[下载JSON示例](qa_examples.json)。

### 1. 已激活信用卡使用

Does your household use credit cards? Exclude cards that have not been activated.

- `1` — Yes
- `2` — No

**参考答案：** `2` — No

### 2. 活期存款账户

Does your household currently have a renminbi demand-deposit account?

- `1` — Yes
- `2` — No

**参考答案：** `1` — Yes

### 3. 股票交易账户

Does your household currently have a stock trading account?

- `1` — Yes
- `2` — No

**参考答案：** `2` — No

### 4. 未到期定期存款

Does your household currently have any renminbi time deposits that have not yet matured?

- `1` — Yes
- `2` — No

**参考答案：** `2` — No

<!-- consumptionqa-examples:end -->

## 项目背景

S²-MAS 是面向社会规模的多智能体仿真框架，用于研究家庭决策对消费、现金储备与支付的影响。论文将 **5 亿条构造家庭 persona 记录**、学习得到的决策策略、可复用金融场景与状态转移引擎连接起来；购置融资应用评估 **1,200 万个独立合成家庭 agent**。完整数据训练的 FinL 为该应用提供策略，本仓库的 FinQ 则是共同决策模型比较中的固定预算适配 checkpoint。决策学习使用 real-survey data；GENESE／MAS 引擎实现保持私有。

共同 benchmark 将十二个系统分为六类决策路线：encoder 选项评分、语言模型与学习得到的决策 head、next-token 决策 SFT、动态 schema 分类、多模态 encoder 决策以及 provider 决策接口。共同 benchmark 均使用文本输入。**17 个模型仓库条目**包括 **10 个固定预算训练版本**（5 个原生 Laya、5 个 Qwen 版本）、**6 个 checkpoint／运行格式条目**及 **1 个兼容入口**。

## 本模型的角色

FinQ 采用**语言模型与学习得到的决策 head 路线**。LoRA adapter 与共享标量决策 head 在 Qwen3.5-4B-Base 上联合训练；相同 200k 预算的 head-only 比较版本保持 backbone 固定，用于衡量表征适配的作用。完整 development 分区先比较两种 200k Qwen4B 适配方法并选出 LoRA 方法，再进行单独的 9B 训练。

## 训练设计与 checkpoint

- 方法：`lora`。
- 独立下游训练记录：固定决策 QA training 分区中的 **200,000 条**。
- 初始化：[Qwen/Qwen3.5-4B-Base](https://huggingface.co/Qwen/Qwen3.5-4B-Base)，官方仅预训练 Base 版本。
- 本阶段终点 row exposures：**200,000**；选中 checkpoint 的本阶段 exposures：**200,000**。
- 选中 checkpoint 的累计 row exposures：**200,000**；累计独立记录：**200,000**。
- 固定 **20,000 条** development 样本选择本 checkpoint；完整 **412,873 条** development 分区比较两种 200k Qwen4B 适配方法。

## 性能与相同比较口径

**输入语言：**英语。**推理精度：**BF16 Qwen backbone，FP32 候选评分。

共同 held-out test 包含 **240,458 条 QA**、**119 个问题版本**及 **8,275 个受访者／家庭组**。checkpoint 在读取该测试之前通过 development 数据选定。

| Checkpoint／比较版本 | Accuracy (%) | Question-macro F1 (%) | 无效选择 |
|---|---:|---:|---:|
| **FinQ · Qwen3.5-4B-Base + LoRA + head · 200k QA** | **74.1435** | **36.7343** | **0** |
| Qwen4B head-only，相同 200k 独立 QA | 67.2841 | 30.8995 | 0 |

Accuracy 对每条测试记录等权，无效选择计为错误。Question-macro F1 先在每个问题版本内对完整候选类别的 F1 取平均，再对 119 个版本等权平均。

Head-only 比较版本使用相同预训练 backbone、独立样本与共同测试，保持 backbone 固定；FinQ 同时通过 LoRA 适配 backbone 表征。

## 模型包与推理

本模型包包含 LoRA adapter 与共享标量决策 head；官方 backbone 及 tokenizer 需单独取得。

- 模型文件：`head.pt`、`adapter/adapter_config.json`、`adapter/adapter_model.safetensors`。
- 共同测试使用 BF16 Qwen backbone 与 FP32 候选评分。
- 单独取得配置所指定的官方 Qwen backbone 与 tokenizer。
- 推理对完整状态、问题和全部候选菜单评分。

配套 `qwen_decision.py` 提供候选评分推理接口，传入本地模型包及 `decision_config.json` 指定的官方 backbone 和 tokenizer。

## 许可与访问

项目模型贡献适用 [S²-MAS Controlled Model Research License v1.2](LICENSE)：限非商业科学研究，不得再分发，不得未经授权进行逆向工程、提取或蒸馏。训练与评估记录不随模型分发；来源数据访问须取得 provider 授权。许可申请：yli9919@hku.hk。

项目仓库：[s2-mas](https://github.com/KataDavidXD/s2-mas)。