| --- |
| language: |
| - zh |
| pipeline_tag: text-generation |
| tags: |
| - pytorch |
| - causal-lm |
| - custom-code |
| --- |
| |
| # MiniSnail DPO |
|
|
| MiniSnail 是一个从头实现和训练的轻量级自回归语言模型。 |
|
|
| ## 模型结构 |
|
|
| - Vocabulary size: 6,400 |
| - Context length: 512 |
| - Hidden size: 768 |
| - Layers: 12 |
| - Attention heads: 12 |
| - FFN size: 2,048 |
| - Training stages: Pre-training → SFT → DPO |
|
|
| ## 使用限制 |
|
|
| 该模型采用自定义 PyTorch 架构，目前不能直接通过 |
| `transformers.AutoModel.from_pretrained()` 加载。 |
|
|
| 模型规模较小，可能出现事实错误、重复输出、不完整回答和不安全内容。 |
| 不应直接用于医疗、法律、金融等高风险场景。 |
|
|
| ## 对话格式 |
|
|
| ```text |
| <|im_start|>user |
| 问题<|im_end|> |
| <|im_start|>assistant |
