PP12546/MiniPolaris-64M-Dense

---

language: - zh tags: - minimind - dense - xpu - intel-arc - from-scratch - educational

license: mit

MiniMind-64M-Dense

模型简介

这是一个在 Intel Arc B580 (XPU) 上从零训练的 64M 稠密语言模型，基于 MiniMind 架构。训练目的是验证 Intel XPU 上的完整预训练 + SFT 流程，而非追求实用性能。

• 总参数量：约 63.9M
• 架构：稠密 Transformer（RMSNorm + RoPE + SwiGLU + GQA）
• 词表大小：6400（自训练 BPE）
• 隐藏维度：768
• 层数：8
• 注意力头数：8（KV 头数 4，GQA）
• 最大序列长度：8192（训练时实际使用 256–512）

训练细节

预训练

• 数据集：pretrain_t2t.jsonl（约 846 万条）
• 步数：21,200 步
• 耗时：约 1 小时
• 最终 loss：约 2.5–3.0
• 优化器：AdamW（BF16 混合精度）
• 学习率：8e-4（余弦退火）
• 硬件：Intel Arc B580 12GB + Intel i5-14600K + 32GB DDR5

SFT（监督微调）

• 数据集：sft_t2t.jsonl（约 510 万条）
• 步数：27,000 步
• 最终 loss：约 2.0
• 学习率：1e-5
• 硬件：同上

实测显存占用（XPU）

阶段	batch_size	max_seq_len	显存占用
预训练	8	256	2.5–3.0 GB
预训练	16	384	10.8 GB
SFT	8	512	6.4 GB

注：以上为 Intel XPU 驱动下的实际观测值，包含模型权重、梯度、优化器状态、激活值及框架开销。

使用方法

from transformers import AutoTokenizer, AutoModelForCausalLM

model_path = "PP12546/MiniPolaris-64M-Dense"
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path, trust_remote_code=True)

prompt = "你好"
inputs = tokenizer(prompt, return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=100, temperature=0.8, top_p=0.9)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

## 局限性
- 容量极小：64M 参数仅能学会基本语法和词频，无法进行逻辑推理、数学计算或复杂对话。

- 长上下文易崩溃：超过约 1K token 后输出容易重复或混乱。

- 不适合角色扮演：无法稳定维持人设，不建议用于实际陪伴或创作。

- 仅用于教学与流程验证：本模型的核心价值是证明 Intel XPU 与 Arc B580单卡上可以完整跑通预训练和 SFT。

文件列表
model.safetensors：推理权重（推荐）

config.json：模型配置

tokenizer.json / tokenizer_config.json：分词器

full_sft_768.pth：训练检查点（含优化器状态，可选）

## 致谢
- 架构与训练脚本基于 [MiniMind](https://github.com/jingyaogong/minimind)

- 训练硬件：Intel Arc B580 (XPU)

- 训练框架：PyTorch + Intel oneAPI