Fortune-518M-32K

从零训练的 5.18 亿参数中文因果语言模型,本次发布选定的 32K 长上下文、SFT + DPO 后训练版(post_w2dpo)。模型面向中文对话与传统命理文本实验;不是成熟通用助手,也没有经验证的预测能力。

权重、分词器与本项目原创代码采用 MIT 许可。 训练数据不随此仓库发布,也不因此改为 MIT。

下载与使用

python -m pip install huggingface_hub
hf download 2009YU/Fortune-518M-32K --local-dir Fortune-518M-32K
cd Fortune-518M-32K
python -m pip install -r requirements.txt
python verify_files.py
python fortune.py ask "你好,介绍一下你自己。" --device cpu
python fortune.py chat --device cpu
# Apple Silicon 可用 --device mps;NVIDIA GPU 可用 --device cuda

这是自定义 PyTorch 架构,不是直接支持 transformers.AutoModelForCausalLM 的仓库;请使用随附脚本。无需教师 API key,本地推理不调用教师模型。

默认不设额外的 64/128/1400-token 输出截断,输出直到 EOS 或剩余模型上下文用完;Ctrl+C 中止。需要可选预算时用 --max-new-tokens 256。模型总窗口为 32,768 tokens,历史对话会按脚本预算压缩/移除早期轮次;这不是无限上下文。

模型规格

项目 数值
参数量 517,797,120(共享 embedding/head)
架构 24 层 decoder-only Transformer,RMSNorm / SwiGLU / RoPE
隐藏维度 / attention heads 1280 / 20
FFN 维度 3456
词表 32,768,自训 BPE
上下文窗口 / RoPE theta 32,768 / 200,000
发布权重 FP32 Safetensors,约 2.07 GB,逐张量与原导出相同
对话格式 用户:…\n助手:…,每轮后 EOS id=1
权重来源 从随机初始化训练,未加载其他预训练基座

配置和格式见 config.json。CUDA 推理脚本使用 BF16,MPS 使用 FP16,CPU 使用 FP32;发布文件本身始终是原值 FP32。

命理相关工具

python fortune.py ask "正官和七杀有什么区别?" --device cpu
python fortune.py bazi --birth "1990-05-17 14:30" --sex 男 --ask "介绍这个例子的传统命理分析思路" --device cpu
python fortune.py meihua --nums 37 158 --ask "解释这个示例的体用关系" --device cpu

默认由附带程序计算部分历法/排盘字段,再让模型生成文本分析;这是工具辅助流程,不能把程序计算的结果算作模型独立推理能力。程序的简化规则及实现也可能出错。--no-assist 可禁用部分辅助。

可选 OCR:python -m pip install -r requirements-ocr.txt,然后使用 ask --image 或聊天 /img。OCR 是独立工具,OCR 模型不包含在本仓库中。

训练与表现

训练源包括中文网络语料、中文百科、古籍/命理文本、程序规则样本,以及外部教师模型生成的通用任务、多轮对话和分析文本。继承的预训练/长上下文训练计数为 151.33 亿 tokens,不是独立语料量,也不含全部后训练曝光。

已有报告中,C-Eval **24.7%**、CMMLU **25.0%**,接近随机水平;AlignBench 简化评审 1.71/10。32K 架构窗口不等于可靠长程记忆。见 训练说明 和 评测说明,不要用少数演示代替能力评估。

文件与许可

  • model.safetensors:仅张量与最小格式元数据,不含 pickle、优化器、服务器凭据或内部路径。
  • model.py / fortune.py:模型结构与本地推理工具。
  • gen_rules_v2.py / gen_readings.py:规则辅助代码。
  • SHA256SUMS / verify_files.py:完整性校验。
  • LICENSE / NOTICE.md:MIT 正文与第三方边界。

此为权重与推理代码发布,不包含完整训练语料及全套训练流水线;不声称整项训练已完整可复现。

Downloads last month
23
Safetensors
Model size
0.5B params
Tensor type
F32
·
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support