Update model card
Browse files
README.md
CHANGED
|
@@ -16,6 +16,7 @@ tags:
|
|
| 16 |
|
| 17 |
HakuChat-7B-Code 是本地自研的中文代码模型:在 5B 工具模型上做零初始化 FFN 宽度扩展得到 7.0051B 参数容器,再用 GitHub 开源 Python 语料做代码 LoRA SFT,并保留工具调用协议。
|
| 18 |
|
|
|
|
| 19 |
|
| 20 |
## 规格
|
| 21 |
|
|
@@ -33,9 +34,12 @@ HakuChat-7B-Code 是本地自研的中文代码模型:在 5B 工具模型上
|
|
| 33 |
|
| 34 |
| 指标 | 7B 基座(扩展后未训练) | 本模型 |
|
| 35 |
|---|---|---|
|
| 36 |
-
| val 代码语法合法 | 0/12 |
|
| 37 |
-
| 5 个手写单测 | 0/5 |
|
| 38 |
-
|
|
|
|
|
|
|
|
|
|
|
| 39 |
|
| 40 |
支持三类代码任务:
|
| 41 |
|
|
@@ -65,9 +69,11 @@ print(tok.decode(out[0, ids["input_ids"].shape[1]:], skip_special_tokens=True))
|
|
| 65 |
|
| 66 |
推理显存:bf16 权重约 14 GB,建议 18 GB 以上。
|
| 67 |
|
|
|
|
|
|
|
| 68 |
## 局限
|
| 69 |
|
| 70 |
-
- 语法基本正确,但逻辑正确率低,手写单测
|
| 71 |
- 补全请求偶尔被当成解释任务回答。
|
| 72 |
- 两位数以上心算不可靠(`37+48` 会算错),需调用 `calculator`。
|
| 73 |
- 联网结果的引用不稳定,可能编造 observation 中没有的细节。
|
|
|
|
| 16 |
|
| 17 |
HakuChat-7B-Code 是本地自研的中文代码模型:在 5B 工具模型上做零初始化 FFN 宽度扩展得到 7.0051B 参数容器,再用 GitHub 开源 Python 语料做代码 LoRA SFT,并保留工具调用协议。
|
| 18 |
|
| 19 |
+
> 说明:这是**参数宽度扩展**得到的 7B 容器,语言底子仍接近 1B 级预训练规模,不是从零训练的 7B。
|
| 20 |
|
| 21 |
## 规格
|
| 22 |
|
|
|
|
| 34 |
|
| 35 |
| 指标 | 7B 基座(扩展后未训练) | 本模型 |
|
| 36 |
|---|---|---|
|
| 37 |
+
| val 代码语法合法 | 0/12 | 10/15 |
|
| 38 |
+
| 5 个手写单测 | 0/5 | 1/5 |
|
| 39 |
+
| 补全任务输出代码 | — | 5/6 |
|
| 40 |
+
| 解释任务保持文字 | — | 3/3 |
|
| 41 |
+
| 多位数算术调用 calculator | — | 4/4 |
|
| 42 |
+
| 工具/身份/问候回归 | 2/3 | 5/5 |
|
| 43 |
|
| 44 |
支持三类代码任务:
|
| 45 |
|
|
|
|
| 69 |
|
| 70 |
推理显存:bf16 权重约 14 GB,建议 18 GB 以上。
|
| 71 |
|
| 72 |
+
`tokenizer_config.json` 已内置 `chat_template`,vLLM / GPUStack / Ollama(导入 GGUF 时需自行写 TEMPLATE)等 OpenAI 兼容服务会按 `<|system|>…<|user|>…<|assistant|>` 正确拼接。更新权重后需要重新下载模型并重建部署,旧部署不会自动重读模板。
|
| 73 |
+
|
| 74 |
## 局限
|
| 75 |
|
| 76 |
+
- 语法基本正确,但逻辑正确率低,手写单测只有 1/5 通过。
|
| 77 |
- 补全请求偶尔被当成解释任务回答。
|
| 78 |
- 两位数以上心算不可靠(`37+48` 会算错),需调用 `calculator`。
|
| 79 |
- 联网结果的引用不稳定,可能编造 observation 中没有的细节。
|