Fortune-518M-32K
从零训练的 5.18 亿参数中文因果语言模型,本次发布选定的 32K 长上下文、SFT + DPO 后训练版(post_w2dpo)。模型面向中文对话与传统命理文本实验;不是成熟通用助手,也没有经验证的预测能力。
权重、分词器与本项目原创代码采用 MIT 许可。 训练数据不随此仓库发布,也不因此改为 MIT。
下载与使用
python -m pip install huggingface_hub
hf download 2009YU/Fortune-518M-32K --local-dir Fortune-518M-32K
cd Fortune-518M-32K
python -m pip install -r requirements.txt
python verify_files.py
python fortune.py ask "你好,介绍一下你自己。" --device cpu
python fortune.py chat --device cpu
# Apple Silicon 可用 --device mps;NVIDIA GPU 可用 --device cuda
这是自定义 PyTorch 架构,不是直接支持 transformers.AutoModelForCausalLM 的仓库;请使用随附脚本。无需教师 API key,本地推理不调用教师模型。
默认不设额外的 64/128/1400-token 输出截断,输出直到 EOS 或剩余模型上下文用完;Ctrl+C 中止。需要可选预算时用 --max-new-tokens 256。模型总窗口为 32,768 tokens,历史对话会按脚本预算压缩/移除早期轮次;这不是无限上下文。
模型规格
| 项目 | 数值 |
|---|---|
| 参数量 | 517,797,120(共享 embedding/head) |
| 架构 | 24 层 decoder-only Transformer,RMSNorm / SwiGLU / RoPE |
| 隐藏维度 / attention heads | 1280 / 20 |
| FFN 维度 | 3456 |
| 词表 | 32,768,自训 BPE |
| 上下文窗口 / RoPE theta | 32,768 / 200,000 |
| 发布权重 | FP32 Safetensors,约 2.07 GB,逐张量与原导出相同 |
| 对话格式 | 用户:…\n助手:…,每轮后 EOS id=1 |
| 权重来源 | 从随机初始化训练,未加载其他预训练基座 |
配置和格式见 config.json。CUDA 推理脚本使用 BF16,MPS 使用 FP16,CPU 使用 FP32;发布文件本身始终是原值 FP32。
命理相关工具
python fortune.py ask "正官和七杀有什么区别?" --device cpu
python fortune.py bazi --birth "1990-05-17 14:30" --sex 男 --ask "介绍这个例子的传统命理分析思路" --device cpu
python fortune.py meihua --nums 37 158 --ask "解释这个示例的体用关系" --device cpu
默认由附带程序计算部分历法/排盘字段,再让模型生成文本分析;这是工具辅助流程,不能把程序计算的结果算作模型独立推理能力。程序的简化规则及实现也可能出错。--no-assist 可禁用部分辅助。
可选 OCR:python -m pip install -r requirements-ocr.txt,然后使用 ask --image 或聊天 /img。OCR 是独立工具,OCR 模型不包含在本仓库中。
训练与表现
训练源包括中文网络语料、中文百科、古籍/命理文本、程序规则样本,以及外部教师模型生成的通用任务、多轮对话和分析文本。继承的预训练/长上下文训练计数为 151.33 亿 tokens,不是独立语料量,也不含全部后训练曝光。
已有报告中,C-Eval **24.7%**、CMMLU **25.0%**,接近随机水平;AlignBench 简化评审 1.71/10。32K 架构窗口不等于可靠长程记忆。见 训练说明 和 评测说明,不要用少数演示代替能力评估。
文件与许可
model.safetensors:仅张量与最小格式元数据,不含 pickle、优化器、服务器凭据或内部路径。model.py/fortune.py:模型结构与本地推理工具。gen_rules_v2.py/gen_readings.py:规则辅助代码。SHA256SUMS/verify_files.py:完整性校验。LICENSE/ NOTICE.md:MIT 正文与第三方边界。
此为权重与推理代码发布,不包含完整训练语料及全套训练流水线;不声称整项训练已完整可复现。
- Downloads last month
- 23