---
language:
- zh
pipeline_tag: text-generation
tags:
- pytorch
- causal-lm
- custom-code
---

# MiniSnail DPO

MiniSnail 是一个从头实现和训练的轻量级自回归语言模型。

## 模型结构

- Vocabulary size: 6,400
- Context length: 512
- Hidden size: 768
- Layers: 12
- Attention heads: 12
- FFN size: 2,048
- Training stages: Pre-training → SFT → DPO

## 使用限制

该模型采用自定义 PyTorch 架构，目前不能直接通过
`transformers.AutoModel.from_pretrained()` 加载。

模型规模较小，可能出现事实错误、重复输出、不完整回答和不安全内容。
不应直接用于医疗、法律、金融等高风险场景。

## 对话格式

```text
<|im_start|>user
问题<|im_end|>
<|im_start|>assistant