MiniSeek-V1

MiniSeek-M · V4.1-Flash 路线 · SFT / 对话版

中文 | English

---

🇨🇳 中文

超小开源 Decoder-only MoE 对话模型。架构参数 186,933,744 ≈ 186.93M（Embedding / LM Head 不共享）。预训练基座：MiniSeek-V1-base。

目标是对齐 DeepSeek（Dense → MoE → Flash 组件，base → chat），不是宣称已对标。

相对 Hub MiniSeek-M0.1（旧 MoELM SFT），本版为全新结构，故为 V1。

模型概览

Model ID	wyf-yfw/MiniSeek-V1
基座	wyf-yfw/MiniSeek-V1-base
系列	MiniSeek-M
版本	1（chat / SFT）
参数量	186,933,744（~186.93M）
权重文件	model.safetensors
结构	同基座（CED + MoE 1+64 top-6 + mHC + Engram）
SFT 上下文	256 tokens
分词器	MiniMind（vocab_size=6400）+ ChatML
协议	MIT

训练

阶段	说明
基座	MiniSeek-V1-base · tasks/20261030-172542-ba2e/checkpoints/last.pt last.pt
SFT 数据	data/SFT/sft_miniseek_v5_short256.jsonl
发布权重	task tasks/20261030-233201-0c2a/checkpoints/best.pt best.pt
Train step（best）	36428
Train loss（best）	≈ 1.4276
max_seq_len / batch	256 / 24 · pack
优化器	AdamW · peak LR 5e-5 → 1e-6 · warmup 100
aux	aux_coef=1e-4

快速开始（推荐 AutoModelForCausalLM）

已支持标准 Hugging Face AutoModelForCausalLM（无需依赖本地代码库，直接开箱即用）：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

MODEL_ID = "wyf-yfw/MiniSeek-V1"

tokenizer = AutoTokenizer.from_pretrained(MODEL_ID, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    MODEL_ID,
    trust_remote_code=True,
    dtype="auto",
    device_map="auto" if torch.cuda.is_available() else None,
)
model.infer_candidate_pool = True  # 启用分层稀疏候选池推理

messages = [{"role": "user", "content": "中国的首都是哪里？只答城市名。"}]
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer(prompt, return_tensors="pt")
if torch.cuda.is_available():
    inputs = {k: v.cuda() for k, v in inputs.items()}

outputs = model.generate(
    **inputs,
    max_new_tokens=64,
    temperature=0.7,
    top_k=50,
    eos_token_id=tokenizer.eos_token_id,
)
print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True))

局限

• 中文短答可用，英文 / 代码 / 复杂推理仍弱（早期 SFT）
• 256 上下文
• 非生产级助手

引用

@misc{miniseek-m1,
  title        = {MiniSeek-V1},
  author       = {wyf-yfw},
  year         = {2026},
  howpublished = {\url{https://huggingface.co/wyf-yfw/MiniSeek-V1}},
  note         = {Ultra-small MoE / V4.1-Flash-style SFT chat}
}

---

🇬🇧 English

Ultra-small MoE chat / SFT checkpoint (186,933,744 ≈ 186.93M). Base: MiniSeek-V1-base. Released from task tasks/20261030-233201-0c2a/checkpoints/best.pt best.pt @ step 36428 (train loss ≈ 1.4276). MIT. See Chinese section for load snippet.