HakuChat-7B-Code

规格

项目	值
参数量	7.0051B
架构	Llama 式，30 层，d_model 1152，FFN 66176，18 头 / 6 KV 头 GQA
上下文	4096
词表	32768，ByteLevel BPE
精度	bfloat16
训练	5B→7B 零初始化扩展 + 代码 LoRA SFT（906 步 / 2 epoch，r=8）
数据	codeparrot/codeparrot-clean 抽取的真实 Python 函数，2500 train / 300 val；40% 工具轨迹 + 身份 replay

能力与评测

指标	7B 基座（扩展后未训练）	本模型
val 代码语法合法	0/12	11/15
5 个手写单测	0/5	1/5
补全任务输出代码	—	5/6
解释任务保持文字	—	3/3
多位数算术调用 calculator	—	3/4
工具/身份/问候回归	2/3	5/5
身份在不同 system 提示下稳定	—	6/6

支持三类代码任务：

• docstring → 实现
• 函数体前缀 → 补全
• 代码 → 中文解释

以及工具协议（web.search / web.open / calculator / fs.list / fs.read / fs.write）。

使用

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

repo = "KSKOOO/HakuChat-7B-Code"
tok = AutoTokenizer.from_pretrained(repo, trust_remote_code=False)
model = AutoModelForCausalLM.from_pretrained(repo, dtype=torch.bfloat16, device_map="auto").eval()

system = "你是 HakuChat，一个由本地团队训练的、擅长编程的中文助手。写代码时先写「思考：」，再写「答案：」，代码放在 ```python 代码块中。"
user = '请根据下面的函数签名和文档字符串实现函数，只输出完整函数代码。\n\n```python\ndef is_prime(n):\n    """判断 n 是否为素数，返回布尔值。"""\n```'
prompt = f"<|system|>{system}<|user|>{user}<|assistant|>"
ids = tok(prompt, return_tensors="pt").to(model.device)
out = model.generate(**ids, max_new_tokens=320, do_sample=False, eos_token_id=tok.eos_token_id, pad_token_id=tok.eos_token_id)
print(tok.decode(out[0, ids["input_ids"].shape[1]:], skip_special_tokens=True))

推理显存：bf16 权重约 14 GB，建议 18 GB 以上。

tokenizer_config.json 已内置 chat_template，vLLM / GPUStack / Ollama（导入 GGUF 时需自行写 TEMPLATE）等 OpenAI 兼容服务会按 <|system|>…<|user|>…<|assistant|> 正确拼接。更新权重后需要重新下载模型并重建部署，旧部署不会自动重读模板。

许可

Apache-2.0。