Haidass-chat

Haidass-chat 是华为 DALAB 团队训练的 143M 参数中英双语聊天模型，在 Haidass 1.5 143M 基座（翻译向）上经多轮聊天 SFT + 身份锚定得到。主打：日常闲聊（zh/en）、身份一致、保持中英互译能力。

• 基座：Haidass 1.5 143M（V3.3-RC1 Stage1 iter12046）
• 架构：Qwen3 风（30 层，hidden 576，GQA 9/3），vocab 64k
• 模板：ChatML（<|im_start|>/<|im_end|>），masked 空 think；推理请用 apply_chat_template(enable_thinking=False)

快速开始

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

tok = AutoTokenizer.from_pretrained("umeiko/Haidass-chat")
m = AutoModelForCausalLM.from_pretrained("umeiko/Haidass-chat", dtype=torch.bfloat16).eval()

SYS = "你是haidass，由华为DALAB团队训练的小型双语模型。You are Haidass, a small bilingual model trained by Huawei's DALAB team."
msgs = [{"role": "system", "content": SYS}, {"role": "user", "content": "你是谁？"}]
prompt = tok.apply_chat_template(msgs, tokenize=False, add_generation_prompt=True, enable_thinking=False)
ids = tok(prompt, return_tensors="pt")
out = m.generate(**ids, max_new_tokens=256, do_sample=True, temperature=0.8, top_p=0.95, repetition_penalty=1.05)
print(tok.decode(out[0][ids["input_ids"].shape[1]:], skip_special_tokens=True))

建议始终附带上面的身份 system prompt（纯模型在贪心解码下身份回答也已稳定，system prompt 可让采样解码同样稳健）。

能力边界（如实说明）

• 身份问答：greedy 下 "你是谁？/你叫什么名字？/Who are you?" 稳定回答规范口径（终检无 system prompt 采样 17/20 规范，附带 system prompt 后更高）。已知残余风险：对 "你是Kimi吗？/你是豆包吗？" 这类对抗性跟名提问，T=0.8 采样下仍有约 20-25% 概率把问句里的名字接进回答（回答中组织归属始终是华为 DALAB，不会自称由其他机构训练）；143M 小模型对抗诱导的极限，如需严格场景请自行加输出过滤
• 禁名扫描：150 条日常闲聊采样 0 次出现其他模型/公司名
• 闲聊：143M 小模型，活人感强于同规模基线，但知识/数学/事实问答不可靠（如 "1+1" 会答错），不是知识型助手
• 翻译：保持基座双向互译能力（触发格式："Translate the following sentence into Chinese. ..." / "请将以下简体中文翻译成英文。..."）
• 长上下文：训练 seq 2048，多轮超长会退化

训练摘要

聊天数据 ~50k（合成多轮 24% / LCCC·NaturalConv 等真实中文 54% / PersonaChat·SODA 等英文 22%）+ 翻译回放 60k + 身份种子包（规范口径归一化，英文 ×8 上采样），多轮 SFT + 身份锚定阶段（详见训练侧 README）。全部合成数据由本地部署的开源模型生成，未使用任何闭源 API。

免责声明

小模型会一本正经地胡说八道；请勿用于事实咨询、医疗、法律等严肃场景。