Montlok/DoL-1.2-Base

DoL 1.2

传统蒙古文 decoder-only 基础语言模型。

同字异码（homoglyph）：传统蒙古文中，O（U+1823）与 U（U+1824）写法相同，OE（U+1825）与 UE（U+1826）写法相同。本模型的蒙古文训练文本对这些码位的使用不一致，分词器和模型中同一词形存在多种编码：词表中有 943 个词形对应不止一个词元，例如“蒙古”对应 4794、7788、5827 三个词元。生成文本可能混用这些编码；显示正确的文本在码位上可能与规范写法不同，会影响检索、去重、按字符串比对的评测和基于规则的奖励。

不建议在研究或生产中把本模型作为基础模型继续预训练或微调，也不建议直接在本模型上进行强化学习。

Tokenizer

DoL bundle_v3b 双轨 tokenizer：传统蒙古文使用形态感知分词，其他文本使用通用 BPE 与 byte fallback。词表大小为 65,536，pad/unk/bos/eos = 0/1/2/3。

Transformer

Two-Stage Recurrent-Depth Transformer：3 层 MLA Prelude、5 层因果 Mamba-3、 1 个共享 MLA/SwiGLU 循环块（默认循环 8 次）和 3 层 MLA Coda。hidden size 2,048、 16 个 attention heads、FFN 8,192，使用 Morphological RoPE 和 tied embedding/LM head，共约 969M 参数。