zhouaz/qwen2-10b-random-init

Qwen2 ~10B 随机初始化权重

这不是训练过的模型 —— 仅包含随机初始化（std=0.02 正态分布）的权重，可用作从零训练/研究的起点。

• 架构：Qwen2（Qwen2ForCausalLM），bf16
• 参数量：10,364,425,216（≈10.36B）
• 配置：vocab_size=151936, hidden_size=5120, intermediate_size=13824, num_hidden_layers=32, num_attention_heads=40, num_key_value_heads=8, max_position_embeddings=32768, rms_norm_eps=1e-6, tie_word_embeddings=False
• 权重：5 个 safetensors 分片，共 ≈20.9 GB
• 说明：hidden 5120 / 48 层的原始配置实际为 14.8B 参数；为得到 ~10B，仅将层数改为 32，其余参数不变。
• 生成方式：单次任务（cpu-xl，transformers 5.18.0 / torch 2.14.1）中实例化 Qwen2ForCausalLM(config) 后转 bf16 保存。