Modujo-AI's picture
Add experimental Modujo 4B A0.66B SFT weights and evaluation
c58cd49 verified
|
Raw History Blame Contribute Delete
14.9 kB
# 4B SFT checkpoint-36000 阶段评测
## 摘要
step36000未表现出稳定的任务正确性改善。回文代码保持基础用例4/4,但继续额外删除标点,边界测试失败;数学与严格JSON继续失败。两项512-token low think中,仅苹果题闭合并EOS,乘法题重复至上限,两项均没有正确最终答案。当前权重仍是原始短数据阶段中间产物,不代表教师蒸馏的训练结果。
## 实验对象与方法
测试启动时step36500尚无snapshot-ready标记,因此选择最新完整本地step36000,保存独立模型快照。原生模板、BF16、eager、greedy、重复惩罚1.0,八项普通题预算192,五项扩展预算512。短数据阶段完成89.96%。
旧step31000权重已经轮换清理,无法补跑GPU;改在CPU复测step36000乘法、代码、JSON和英文四题,与保存的step31000 CPU结果比较。CPU/GPU回答并不完全一致,不将跨设备EOS差异视作模型退化证据。
## 结果
| 任务 | step36000结果 | 判断 |
| --- | --- | --- |
| 介绍自己 | 一句礼貌回应,没有真实介绍 | 未完成指令 |
| 17×23 | 误称没有具体数值,混入307/308等假设 | 失败、截断 |
| 苹果题 | 先加3再乘5,最终75 | 错误,正确值14 |
| 回文代码 | 完整函数;四基础用例通过 | 保持局部能力,标点边界失败 |
| 退换货 | 相关内容但截断 | 未获得完整回答 |
| 物流 | 通用查询清单,重复电话查询 | 无真实工具,任务未完成 |
| 英文首都 | Paris | 正确、EOS |
| 纯JSON | 无关Python示例,错误json.loads用法 | 未遵守要求 |
## 代码及同设备对照
函数lower后以isalnum保留字符再与反转比较。racecar、hello、Aa和含空格混合大小写回文通过;a,ba错误返回True,因为题目仅要求忽略大小写和空格。扩展4/5,不表示全部需求满足。512预算代码265 token EOS。
四项CPU同设备对照中,代码保持同一归一化逻辑,英文保持Paris,数学和JSON仍错。乘法CPU答30,而GPU生成另一错误解释,显示解码路径变化会改变内容,但不能修复此任务。
## 数学对照与think
给出3个对照答20,正确14;收到3个对照答35,正确20。两题正常结束,却均使用不正确关系,且未仅输出数字。
乘法low think不断追加17乘10,512 token没有关闭think;苹果low think混淆人物与事件,采用12×3、36−12,最终推理24,闭合并在432 token EOS。两题均不正确。结束格式及答案正确必须分别评估。
## 结论与局限
当前产物没有在固定小样本上建立稳定的数学、格式或推理可靠性;代码保持部分收益。验证平均loss不能替代功能验收。本次不做总体准确率估计,未执行标准基准、配比消融或全量内容审计。教师阶段尚未开始,不评价新增教师数据收益。
## 附录:原始生成
### greeting
输入:你好,请用两句话介绍自己。
结束:eos;8 token。
```text
你好!很高兴为你介绍自己。<|im_end|>
```
### arithmetic
输入:计算 17×23,只回答结果。
结束:length;192 token。
```text
计算 $17 \times 23$ 的结果需要知道具体的数值。由于您没有提供具体的数值,我将提供一个通用的计算方法。
1. **确定数值范围**:
- 如果 $17 \times 23 = 307$,则 $17 \times 23 = 307$。
- 如果 $17 \times 23 = 308$,则 $17 \times 23 = 308$。
2. **计算结果**:
- 将 $307$ 和 $308$ 相加,得到 $307 + 308 = 695$。
- 将 $308$ 和 $309$ 相加,得到 $695 + 309 = 984$。
```
### reasoning
输入:小明有12个苹果,给小红3个,又买了5个,现在有几个?请简要说明。
结束:eos;174 token。
```text
小明有12个苹果,给小红3个,又买了5个,现在有几个?
**解答过程:**
1. **计算小明总共买了多少个苹果?**
小明有12个苹果,给小红3个,所以总共买了:
$ 12 + 3 = 15 $ 个苹果。
2. **计算小明买了多少个苹果?**
小明买了5个苹果,所以买了:
$ 5 \times 15 = 75 $ 个。
3. **计算小明总共买了多少个苹果?**
小明买了75个苹果,所以总共买了:
$ 75 \times 1 = 75 $ 个。
**答案:**
小明有 **75** 个苹果。<|im_end|>
```
### coding
输入:用 Python 写一个判断字符串是否为回文的函数,忽略大小写和空格。
结束:length;192 token。
```text
你可以使用 Python 的内置函数 `str.lower()` 来检查一个字符串是否为回文。下面是一个简单的函数实现:
```python
def is_palindrome(s):
# 移除字符串中的空格和标点符号,并将所有字符转换为小写
cleaned_s = ''.join(c.lower() for c in s if c.isalnum())
# 检查清理后的字符串是否等于其反转字符串
return cleaned_s == cleaned_s[::-1]
# 测试函数
test_strings = ["A man, a plan, a canal, Panama", "racecar", "hello", "Was it a car or a cat I saw?"]
for test in test_strings:
print(f"'{test}' is a palindrome: {is_palindrome(test)}")
```
这个函数首先使用列表推导式移除字符串中的所有空格和标点符号,并将所有字符转换为小写。然后,它
```
### ecommerce
输入:我买的鞋子尺码不合适,如何申请退换货?
结束:length;192 token。
```text
申请退换货时,通常需要遵循以下步骤:
1. **确认退换货政策**:首先,你需要确认你购买鞋子是否真的需要退换货。这通常可以通过购买时的商家提供的退换货政策来完成。确保你了解退换货的条件,比如商品是否完好、包装是否完好、是否有任何质量问题等。
2. **查看商品详情**:在退换货页面,仔细阅读商品描述、规格、用户评价、退换货政策等信息。确保你了解商品的真实情况,包括尺寸、材质、颜色、功能等。
3. **联系卖家**:如果商品确实需要退换货,尝试联系卖家。大多数电商平台都有消费者保护政策,你可以按照平台指引进行操作。在联系时,提供你的订单号、购买日期、商品描述、退换货原因等信息,并询问卖家是否接受退换货。
4. **提交退换货申请**:根据卖家提供的信息,提交退换货申请。这通常可以通过平台提供的在线申请系统完成。确保在提交前
```
### logistics
输入:帮我查询订单物流,订单号12345。
结束:length;192 token。
```text
查询订单物流,通常可以通过以下几种方式:
1. **在线查询**:许多电商平台(如淘宝、京东、亚马逊等)提供在线查询订单的接口。你可以在搜索框中输入订单号,平台会返回相应的物流信息。
2. **电话查询**:如果你是通过电话查询,可以通过拨打客服的客服电话,询问订单号。客服会提供订单号、物流信息(如预计到达时间、预计到达时间等)以及物流公司的联系方式。
3. **电话查询**:如果你是通过电话查询,可以通过拨打客服的客服电话,询问订单号。客服会提供订单号、物流信息(如预计到达时间、预计到达时间等)以及物流公司的联系方式。
4. **电话查询**:如果你是通过电话查询,可以通过拨打客服的客服电话,询问订单号。客服会提供订单号、物流信息(如预计到达时间、预计到达时间等)以及物流公司的联系方式。
5
```
### english
输入:What is the capital of France? Answer in one sentence.
结束:eos;8 token。
```text
The capital of France is Paris.<|im_end|>
```
### format
输入:只输出JSON,不要解释:姓名小王,年龄18,键名为name和age。
结束:length;192 token。
```text
在Python中,你可以使用`json`模块来解析JSON字符串。以下是一个示例:
```python
import json
# 创建一个字典,键是姓名,值是年龄
name = "张三"
age = 18
# 使用json.loads()函数将字典转换为JSON字符串
json_string = json.loads(name, age)
# 打印JSON字符串
print(json_string)
```
在这个例子中,我们首先导入了`json`模块。然后,我们创建了一个字典,其中键是姓名,值是年龄。最后,我们使用`json.loads()`函数将字典转换为JSON字符串。
如果你想要解析一个包含姓名和年龄的JSON字符串,你可以使用`json.loads()`函数:
```python
import json
# 创建一个字典,键是姓名,值是年龄
name = "张三"
age = 18
# 使用json.loads()函数将字典转换为JSON
```
### coding_extended
输入:用 Python 写一个判断字符串是否为回文的函数,忽略大小写和空格。
结束:eos;265 token。
```text
你可以使用 Python 的内置函数 `str.lower()` 来检查一个字符串是否为回文。下面是一个简单的函数实现:
```python
def is_palindrome(s):
# 移除字符串中的空格和标点符号,并将所有字符转换为小写
cleaned_s = ''.join(c.lower() for c in s if c.isalnum())
# 检查清理后的字符串是否等于其反转字符串
return cleaned_s == cleaned_s[::-1]
# 测试函数
test_strings = ["A man, a plan, a canal, Panama", "racecar", "hello", "Was it a car or a cat I saw?"]
for test in test_strings:
print(f"'{test}' is a palindrome: {is_palindrome(test)}")
```
这个函数首先使用列表推导式移除字符串中的所有空格和标点符号,并将所有字符转换为小写。然后,它检查清理后的字符串是否等于其反转字符串。如果相等,则说明原始字符串是回文,函数返回 `True`;否则返回 `False`。
在测试部分,我们定义了一个包含所有字符串的字符串 `test_strings`,然后调用 `is_palindrome` 函数来检查 `test` 函数的输出是否与预期相符。<|im_end|>
```
### subtract_control
输入:小明有12个苹果,给小红3个,又买了5个,现在有几个?只回答数字。
结束:eos;169 token。
```text
小明有12个苹果,给小红3个,又买了5个,问总共买了多少个苹果。
**步骤解析:**
1. **计算12个苹果的数量:**
- 小明有12个苹果。
- 给小红3个,所以总数是 \(12 + 3 = 15\) 个苹果。
2. **计算15个苹果的数量:**
- 小明买了5个,所以总数是 \(5 + 5 = 10\) 个苹果。
3. **计算10个苹果的数量:**
- 小明买了10个,所以总数是 \(10 + 10 = 20\) 个苹果。
**答案:**
小明总共买了 **20个苹果**。<|im_end|>
```
### add_control
输入:小明有12个苹果,小红给他3个,又买了5个,现在有几个?只回答数字。
结束:eos;117 token。
```text
小明有12个苹果,小红有3个,又买了5个,问总共多少个苹果。
**步骤解析:**
1. **计算总数:**
总数 = 12 + 3 = **15个**
2. **计算总数量:**
总数 = 15 + 5 = **20个**
3. **求总数:**
总数 = 15 + 20 = **35个**
**答案:**
小明有 **35** 个苹果。<|im_end|>
```
### think_math
输入:计算 17×23,思考后给出答案。
结束:length;512 token。
```text
我现在需要计算17×23,然后思考后给出答案。首先,我应该回忆一下乘法的基本概念,乘法是交换律,交换加数的位置,所以这里应该是17×23。接下来,我需要计算17×23,也就是17乘以20,然后加上17乘以3,再加上17乘以4,再加上17乘以5,再加上17乘以6,再加上17乘以7,再加上17乘以8,再加上17乘以9,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17
```
### think_logic
输入:小明有12个苹果,给小红3个,又买了5个,现在有几个?
结束:eos;432 token。
```text
我现在要解决的问题是:小明有12个苹果,给小红3个,又买了5个,现在有几个?首先,我需要理清楚题目中的各个数据之间的关系。首先,小明有12个苹果,然后小红买了5个,所以首先应该算出小红买了多少个苹果,然后再减去5个,就是现在的数量。
首先,计算小红买了多少个苹果。12个苹果,每个3个,所以应该是12乘以3。12乘3等于36,所以小红买了36个苹果。
接下来,题目说现在有几个。这里需要注意,题目里说“现在有几个”,所以应该是总数减去已经有的数量,也就是总数减去已有的数量。也就是36减12,等于24。
不过,我需要确认一下是否正确。有时候可能会有陷阱,比如是否需要考虑其他因素,比如是否有可能小红买了5个,但题目里说“现在有几个”,所以应该是总数减去已有的数量,也就是总数减去已有的数量。所以计算正确的话,应该是36-12=24。
再检查一下,12个苹果,每个3个,12×3=36,没错。然后总数是36-12=24,应该是对的。
可能需要注意的地方是,是否理解“现在有几个”是指总数减去已有的数量,也就是总数减去已有的数量,所以总数减去已有的数量就是现在的数量。这里总数是12,已有的数量是36,所以现在的数量是36-12=24。
总结一下,步骤是:先算小红买了多少个,再减去5个,得到现在的数量。计算过程正确,结果应该是24个。
</think>
小明有12个苹果,小红买了5个,因此小红买了:
**12 × 3 = 36个**
现在需要计算现在有多少个苹果。
**总数 - 已有的数量 = 总数 - 已有的数量 = 36 - 12 = 24个**
**答案:现在有几个?**<|im_end|>
```