DATA_SOURCES.md

数据源说明

本项目当前使用三分类标签：

label	含义
0	非研发相关
1	研发相关
2	中性

当前推荐数据集

推荐使用精简后的数据集：

• 原始精简 CSV：data/refined_compact_labeled.csv
• 训练集：data_refined/train.csv
• 验证集：data_refined/val.csv
• 测试集：data_refined/test.csv

当前精简 CSV 的类别分布：

label	含义	数量
0	非研发相关	22337
1	研发相关	68779
2	中性	2312

切分比例由 data_prep.py 生成，约为 8:1:1。

数据来源

THUOCL

• 仓库：https://github.com/thunlp/THUOCL
• 用途：提供中文领域词库。
• 中间产物：data/thuocl_labeled.csv

初始映射中，THUOCL_IT.txt 标为研发相关，其他领域曾用于非研发或中性候选。当前精简数据集中仅保留部分高权重词：

• IT：研发相关，全量保留去重后的词条
• 其他 THUOCL 领域：非研发相关，每个领域最多保留 300 条

DomainWordsDict

• 仓库：https://github.com/liuhuanyong/DomainWordsDict
• 用途：提供大规模中文领域词库。
• 中间产物：data/domain_words_labeled.csv

当前精简映射：

• 计算机业：研发相关，全量保留去重后的词条
• 电子工程：研发相关，全量保留去重后的词条
• 通信工程：研发相关，全量保留去重后的词条
• 其他领域：非研发相关，每个领域最多保留 300 条

旧版曾把 网络用语、诗词歌赋、文学名著、汉语言学 标为中性；当前已取消这个策略，这些领域在精简数据集中都按非研发相关处理。

computerese-cross-references

• 仓库：https://github.com/EarsEyesMouth/computerese-cross-references
• 用途：补充计算机专业术语中英文对照。
• 中间产物：data/computerese_labeled.csv

该仓库主要内容在 README.md 的 Markdown 表格中。当前抽取策略：

• 英文术语全部标为研发相关
• 中文释义只保留明显具有技术语义的短语
• 过滤掉过于泛化的中文词，例如“获取”这类容易导致误判的词

当前精简数据集中，computerese 全量保留去重后的词条，约 1650 条。

stopwords

• 仓库：https://github.com/goto456/stopwords
• 用途：提供中性类样本。
• 使用文件：
  • baidu_stopwords.txt
  • cn_stopwords.txt
  • hit_stopwords.txt
  • scu_stopwords.txt

当前策略：

• 所有去重后的停用词标为 2=中性
• 中性类只来自该停用词仓库
• 例如“继续”会被标为中性

生成策略

精简数据集的目标是避免中性和非研发样本过多，降低类别不均衡和噪声。

当前规则：

类别	来源	保留策略
研发相关	IT、计算机业、电子工程、通信工程、computerese	全量保留去重后的词条，并优先于非研发来源
中性	stopwords	全量去重保留
非研发相关	其他领域词库	每个领域最多 300 条

生成后的 CSV 字段：

字段	含义
text	训练文本
label	标签 ID
label_name	标签名称
category	来源领域或类别
df	原词库权重或词频，部分来源为空
source_file	来源文件

注意事项

• 当前数据主要是词库，不是完整用户 query。训练出的模型更偏向领域词识别，后续应补充真实用户话术。
• 中性类目前使用停用词近似表达，如“继续”“好的”“然后”等，适合覆盖短指令和弱语义输入。
• 非研发相关按领域抽样压缩后，与研发相关数量大致均衡，适合先训练一个轻量 baseline。
• 若后续新增真实标注样本，建议优先加入 data/refined_compact_labeled.csv 或单独维护一个人工标注 CSV，再合并后重新切分。