zhouaz/qilin-10b-random-init

Qilin-10B（随机初始化）

这不是训练过的模型 —— 从零手写的全新 decoder 架构 Qilin 的随机初始化权重（std=0.02 / xavier / 零初始化残差输出）。

架构组件（组合未见于任何已发布模型）

组件	论文
TPA-KVonly 注意力（K/V 做 rank-4 CP 分解，KV cache ~4× 压缩）	arXiv:2501.06425（NeurIPS 2025 Spotlight）
Partial RoPE 作用于 B factor（rotary_dim=64/128）	官方 T6 partial-rope 变体
Sandwich RMSNorm（每层 4 norms）+ per-head RMSNorm	arXiv:2408.00118（Gemma 2）
ReLU² FFN（2 矩阵，无门控）	arXiv:2109.08668（Primer）
Fine-grained MoE：64 routed（top-4，inter 1152）+ 1 shared（inter 5120）+ aux-loss-free router bias	arXiv:2412.19437（DeepSeek-V3）

规模

• 参数量：10,415,889,408（≈10.42B 总参，每 token 激活 ≈1.92B）
• vocab 131072（tied embedding），24 层，hidden 2560，20 heads × head_dim 128，max_position 32768
• 权重：5 个 safetensors 分片，bf16，≈20.8 GB

加载

from transformers import AutoModelForCausalLM, AutoConfig
model = AutoModelForCausalLM.from_pretrained(
    "zhouaz/qilin-10b-random-init", trust_remote_code=True, dtype="bfloat16"
)

架构代码在同仓库 modeling_qilin.py，全部模块从零手写，不依赖任何现成模型类。