Text Generation
Transformers
Safetensors
qwen4_exp_text
qwen4-exp
mixture-of-experts
language-model
pretrained
pt
sft
conversational
Instructions to use Modujo-AI/ModujoMoE with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use Modujo-AI/ModujoMoE with Transformers:
# Use a pipeline as a high-level helper from transformers import pipeline pipe = pipeline("text-generation", model="Modujo-AI/ModujoMoE") messages = [ {"role": "user", "content": "Who are you?"}, ] pipe(messages)# pip install -U transformers accelerate # Load model directly from transformers import AutoTokenizer, AutoModelForCausalLM tokenizer = AutoTokenizer.from_pretrained("Modujo-AI/ModujoMoE") model = AutoModelForCausalLM.from_pretrained("Modujo-AI/ModujoMoE", device_map="auto") messages = [ {"role": "user", "content": "Who are you?"}, ] inputs = tokenizer.apply_chat_template( messages, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors="pt", ).to(model.device) outputs = model.generate(**inputs, max_new_tokens=256) print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:])) - Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- vLLM
How to use Modujo-AI/ModujoMoE with vLLM:
Install from pip and serve model
# Install vLLM from pip: pip install vllm # Start the vLLM server: vllm serve "Modujo-AI/ModujoMoE" # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:8000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "Modujo-AI/ModujoMoE", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }'Use Docker
docker model run hf.co/Modujo-AI/ModujoMoE
- SGLang
How to use Modujo-AI/ModujoMoE with SGLang:
Install from pip and serve model
# Install SGLang from pip: pip install sglang # Start the SGLang server: python3 -m sglang.launch_server \ --model-path "Modujo-AI/ModujoMoE" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "Modujo-AI/ModujoMoE", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }'Use Docker images
docker run --gpus all \ --shm-size 32g \ -p 30000:30000 \ -v ~/.cache/huggingface:/root/.cache/huggingface \ --env "HF_TOKEN=<secret>" \ --ipc=host \ lmsysorg/sglang:latest \ python3 -m sglang.launch_server \ --model-path "Modujo-AI/ModujoMoE" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "Modujo-AI/ModujoMoE", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }' - Docker Model Runner
How to use Modujo-AI/ModujoMoE with Docker Model Runner:
docker model run hf.co/Modujo-AI/ModujoMoE
|
Download sft/Modujo-4B-A0.66B/evaluation/report.md from Modujo-AI/ModujoMoE: direct link, hf CLI and curl.
- Browser
- Download file 14.9 kB
-
https://huggingface.co/Modujo-AI/ModujoMoE/resolve/main/sft/Modujo-4B-A0.66B/evaluation/report.md
- Command line
-
hf download hf://Modujo-AI/ModujoMoE/sft/Modujo-4B-A0.66B/evaluation/report.md
-
curl -L -o report.md https://huggingface.co/Modujo-AI/ModujoMoE/resolve/main/sft/Modujo-4B-A0.66B/evaluation/report.md
14.9 kB
| # 4B SFT checkpoint-36000 阶段评测 | |
| ## 摘要 | |
| step36000未表现出稳定的任务正确性改善。回文代码保持基础用例4/4,但继续额外删除标点,边界测试失败;数学与严格JSON继续失败。两项512-token low think中,仅苹果题闭合并EOS,乘法题重复至上限,两项均没有正确最终答案。当前权重仍是原始短数据阶段中间产物,不代表教师蒸馏的训练结果。 | |
| ## 实验对象与方法 | |
| 测试启动时step36500尚无snapshot-ready标记,因此选择最新完整本地step36000,保存独立模型快照。原生模板、BF16、eager、greedy、重复惩罚1.0,八项普通题预算192,五项扩展预算512。短数据阶段完成89.96%。 | |
| 旧step31000权重已经轮换清理,无法补跑GPU;改在CPU复测step36000乘法、代码、JSON和英文四题,与保存的step31000 CPU结果比较。CPU/GPU回答并不完全一致,不将跨设备EOS差异视作模型退化证据。 | |
| ## 结果 | |
| | 任务 | step36000结果 | 判断 | | |
| | --- | --- | --- | | |
| | 介绍自己 | 一句礼貌回应,没有真实介绍 | 未完成指令 | | |
| | 17×23 | 误称没有具体数值,混入307/308等假设 | 失败、截断 | | |
| | 苹果题 | 先加3再乘5,最终75 | 错误,正确值14 | | |
| | 回文代码 | 完整函数;四基础用例通过 | 保持局部能力,标点边界失败 | | |
| | 退换货 | 相关内容但截断 | 未获得完整回答 | | |
| | 物流 | 通用查询清单,重复电话查询 | 无真实工具,任务未完成 | | |
| | 英文首都 | Paris | 正确、EOS | | |
| | 纯JSON | 无关Python示例,错误json.loads用法 | 未遵守要求 | | |
| ## 代码及同设备对照 | |
| 函数lower后以isalnum保留字符再与反转比较。racecar、hello、Aa和含空格混合大小写回文通过;a,ba错误返回True,因为题目仅要求忽略大小写和空格。扩展4/5,不表示全部需求满足。512预算代码265 token EOS。 | |
| 四项CPU同设备对照中,代码保持同一归一化逻辑,英文保持Paris,数学和JSON仍错。乘法CPU答30,而GPU生成另一错误解释,显示解码路径变化会改变内容,但不能修复此任务。 | |
| ## 数学对照与think | |
| 给出3个对照答20,正确14;收到3个对照答35,正确20。两题正常结束,却均使用不正确关系,且未仅输出数字。 | |
| 乘法low think不断追加17乘10,512 token没有关闭think;苹果low think混淆人物与事件,采用12×3、36−12,最终推理24,闭合并在432 token EOS。两题均不正确。结束格式及答案正确必须分别评估。 | |
| ## 结论与局限 | |
| 当前产物没有在固定小样本上建立稳定的数学、格式或推理可靠性;代码保持部分收益。验证平均loss不能替代功能验收。本次不做总体准确率估计,未执行标准基准、配比消融或全量内容审计。教师阶段尚未开始,不评价新增教师数据收益。 | |
| ## 附录:原始生成 | |
| ### greeting | |
| 输入:你好,请用两句话介绍自己。 | |
| 结束:eos;8 token。 | |
| ```text | |
| 你好!很高兴为你介绍自己。<|im_end|> | |
| ``` | |
| ### arithmetic | |
| 输入:计算 17×23,只回答结果。 | |
| 结束:length;192 token。 | |
| ```text | |
| 计算 $17 \times 23$ 的结果需要知道具体的数值。由于您没有提供具体的数值,我将提供一个通用的计算方法。 | |
| 1. **确定数值范围**: | |
| - 如果 $17 \times 23 = 307$,则 $17 \times 23 = 307$。 | |
| - 如果 $17 \times 23 = 308$,则 $17 \times 23 = 308$。 | |
| 2. **计算结果**: | |
| - 将 $307$ 和 $308$ 相加,得到 $307 + 308 = 695$。 | |
| - 将 $308$ 和 $309$ 相加,得到 $695 + 309 = 984$。 | |
| ``` | |
| ### reasoning | |
| 输入:小明有12个苹果,给小红3个,又买了5个,现在有几个?请简要说明。 | |
| 结束:eos;174 token。 | |
| ```text | |
| 小明有12个苹果,给小红3个,又买了5个,现在有几个? | |
| **解答过程:** | |
| 1. **计算小明总共买了多少个苹果?** | |
| 小明有12个苹果,给小红3个,所以总共买了: | |
| $ 12 + 3 = 15 $ 个苹果。 | |
| 2. **计算小明买了多少个苹果?** | |
| 小明买了5个苹果,所以买了: | |
| $ 5 \times 15 = 75 $ 个。 | |
| 3. **计算小明总共买了多少个苹果?** | |
| 小明买了75个苹果,所以总共买了: | |
| $ 75 \times 1 = 75 $ 个。 | |
| **答案:** | |
| 小明有 **75** 个苹果。<|im_end|> | |
| ``` | |
| ### coding | |
| 输入:用 Python 写一个判断字符串是否为回文的函数,忽略大小写和空格。 | |
| 结束:length;192 token。 | |
| ```text | |
| 你可以使用 Python 的内置函数 `str.lower()` 来检查一个字符串是否为回文。下面是一个简单的函数实现: | |
| ```python | |
| def is_palindrome(s): | |
| # 移除字符串中的空格和标点符号,并将所有字符转换为小写 | |
| cleaned_s = ''.join(c.lower() for c in s if c.isalnum()) | |
| # 检查清理后的字符串是否等于其反转字符串 | |
| return cleaned_s == cleaned_s[::-1] | |
| # 测试函数 | |
| test_strings = ["A man, a plan, a canal, Panama", "racecar", "hello", "Was it a car or a cat I saw?"] | |
| for test in test_strings: | |
| print(f"'{test}' is a palindrome: {is_palindrome(test)}") | |
| ``` | |
| 这个函数首先使用列表推导式移除字符串中的所有空格和标点符号,并将所有字符转换为小写。然后,它 | |
| ``` | |
| ### ecommerce | |
| 输入:我买的鞋子尺码不合适,如何申请退换货? | |
| 结束:length;192 token。 | |
| ```text | |
| 申请退换货时,通常需要遵循以下步骤: | |
| 1. **确认退换货政策**:首先,你需要确认你购买鞋子是否真的需要退换货。这通常可以通过购买时的商家提供的退换货政策来完成。确保你了解退换货的条件,比如商品是否完好、包装是否完好、是否有任何质量问题等。 | |
| 2. **查看商品详情**:在退换货页面,仔细阅读商品描述、规格、用户评价、退换货政策等信息。确保你了解商品的真实情况,包括尺寸、材质、颜色、功能等。 | |
| 3. **联系卖家**:如果商品确实需要退换货,尝试联系卖家。大多数电商平台都有消费者保护政策,你可以按照平台指引进行操作。在联系时,提供你的订单号、购买日期、商品描述、退换货原因等信息,并询问卖家是否接受退换货。 | |
| 4. **提交退换货申请**:根据卖家提供的信息,提交退换货申请。这通常可以通过平台提供的在线申请系统完成。确保在提交前 | |
| ``` | |
| ### logistics | |
| 输入:帮我查询订单物流,订单号12345。 | |
| 结束:length;192 token。 | |
| ```text | |
| 查询订单物流,通常可以通过以下几种方式: | |
| 1. **在线查询**:许多电商平台(如淘宝、京东、亚马逊等)提供在线查询订单的接口。你可以在搜索框中输入订单号,平台会返回相应的物流信息。 | |
| 2. **电话查询**:如果你是通过电话查询,可以通过拨打客服的客服电话,询问订单号。客服会提供订单号、物流信息(如预计到达时间、预计到达时间等)以及物流公司的联系方式。 | |
| 3. **电话查询**:如果你是通过电话查询,可以通过拨打客服的客服电话,询问订单号。客服会提供订单号、物流信息(如预计到达时间、预计到达时间等)以及物流公司的联系方式。 | |
| 4. **电话查询**:如果你是通过电话查询,可以通过拨打客服的客服电话,询问订单号。客服会提供订单号、物流信息(如预计到达时间、预计到达时间等)以及物流公司的联系方式。 | |
| 5 | |
| ``` | |
| ### english | |
| 输入:What is the capital of France? Answer in one sentence. | |
| 结束:eos;8 token。 | |
| ```text | |
| The capital of France is Paris.<|im_end|> | |
| ``` | |
| ### format | |
| 输入:只输出JSON,不要解释:姓名小王,年龄18,键名为name和age。 | |
| 结束:length;192 token。 | |
| ```text | |
| 在Python中,你可以使用`json`模块来解析JSON字符串。以下是一个示例: | |
| ```python | |
| import json | |
| # 创建一个字典,键是姓名,值是年龄 | |
| name = "张三" | |
| age = 18 | |
| # 使用json.loads()函数将字典转换为JSON字符串 | |
| json_string = json.loads(name, age) | |
| # 打印JSON字符串 | |
| print(json_string) | |
| ``` | |
| 在这个例子中,我们首先导入了`json`模块。然后,我们创建了一个字典,其中键是姓名,值是年龄。最后,我们使用`json.loads()`函数将字典转换为JSON字符串。 | |
| 如果你想要解析一个包含姓名和年龄的JSON字符串,你可以使用`json.loads()`函数: | |
| ```python | |
| import json | |
| # 创建一个字典,键是姓名,值是年龄 | |
| name = "张三" | |
| age = 18 | |
| # 使用json.loads()函数将字典转换为JSON | |
| ``` | |
| ### coding_extended | |
| 输入:用 Python 写一个判断字符串是否为回文的函数,忽略大小写和空格。 | |
| 结束:eos;265 token。 | |
| ```text | |
| 你可以使用 Python 的内置函数 `str.lower()` 来检查一个字符串是否为回文。下面是一个简单的函数实现: | |
| ```python | |
| def is_palindrome(s): | |
| # 移除字符串中的空格和标点符号,并将所有字符转换为小写 | |
| cleaned_s = ''.join(c.lower() for c in s if c.isalnum()) | |
| # 检查清理后的字符串是否等于其反转字符串 | |
| return cleaned_s == cleaned_s[::-1] | |
| # 测试函数 | |
| test_strings = ["A man, a plan, a canal, Panama", "racecar", "hello", "Was it a car or a cat I saw?"] | |
| for test in test_strings: | |
| print(f"'{test}' is a palindrome: {is_palindrome(test)}") | |
| ``` | |
| 这个函数首先使用列表推导式移除字符串中的所有空格和标点符号,并将所有字符转换为小写。然后,它检查清理后的字符串是否等于其反转字符串。如果相等,则说明原始字符串是回文,函数返回 `True`;否则返回 `False`。 | |
| 在测试部分,我们定义了一个包含所有字符串的字符串 `test_strings`,然后调用 `is_palindrome` 函数来检查 `test` 函数的输出是否与预期相符。<|im_end|> | |
| ``` | |
| ### subtract_control | |
| 输入:小明有12个苹果,给小红3个,又买了5个,现在有几个?只回答数字。 | |
| 结束:eos;169 token。 | |
| ```text | |
| 小明有12个苹果,给小红3个,又买了5个,问总共买了多少个苹果。 | |
| **步骤解析:** | |
| 1. **计算12个苹果的数量:** | |
| - 小明有12个苹果。 | |
| - 给小红3个,所以总数是 \(12 + 3 = 15\) 个苹果。 | |
| 2. **计算15个苹果的数量:** | |
| - 小明买了5个,所以总数是 \(5 + 5 = 10\) 个苹果。 | |
| 3. **计算10个苹果的数量:** | |
| - 小明买了10个,所以总数是 \(10 + 10 = 20\) 个苹果。 | |
| **答案:** | |
| 小明总共买了 **20个苹果**。<|im_end|> | |
| ``` | |
| ### add_control | |
| 输入:小明有12个苹果,小红给他3个,又买了5个,现在有几个?只回答数字。 | |
| 结束:eos;117 token。 | |
| ```text | |
| 小明有12个苹果,小红有3个,又买了5个,问总共多少个苹果。 | |
| **步骤解析:** | |
| 1. **计算总数:** | |
| 总数 = 12 + 3 = **15个** | |
| 2. **计算总数量:** | |
| 总数 = 15 + 5 = **20个** | |
| 3. **求总数:** | |
| 总数 = 15 + 20 = **35个** | |
| **答案:** | |
| 小明有 **35** 个苹果。<|im_end|> | |
| ``` | |
| ### think_math | |
| 输入:计算 17×23,思考后给出答案。 | |
| 结束:length;512 token。 | |
| ```text | |
| 我现在需要计算17×23,然后思考后给出答案。首先,我应该回忆一下乘法的基本概念,乘法是交换律,交换加数的位置,所以这里应该是17×23。接下来,我需要计算17×23,也就是17乘以20,然后加上17乘以3,再加上17乘以4,再加上17乘以5,再加上17乘以6,再加上17乘以7,再加上17乘以8,再加上17乘以9,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17乘以10,再加上17 | |
| ``` | |
| ### think_logic | |
| 输入:小明有12个苹果,给小红3个,又买了5个,现在有几个? | |
| 结束:eos;432 token。 | |
| ```text | |
| 我现在要解决的问题是:小明有12个苹果,给小红3个,又买了5个,现在有几个?首先,我需要理清楚题目中的各个数据之间的关系。首先,小明有12个苹果,然后小红买了5个,所以首先应该算出小红买了多少个苹果,然后再减去5个,就是现在的数量。 | |
| 首先,计算小红买了多少个苹果。12个苹果,每个3个,所以应该是12乘以3。12乘3等于36,所以小红买了36个苹果。 | |
| 接下来,题目说现在有几个。这里需要注意,题目里说“现在有几个”,所以应该是总数减去已经有的数量,也就是总数减去已有的数量。也就是36减12,等于24。 | |
| 不过,我需要确认一下是否正确。有时候可能会有陷阱,比如是否需要考虑其他因素,比如是否有可能小红买了5个,但题目里说“现在有几个”,所以应该是总数减去已有的数量,也就是总数减去已有的数量。所以计算正确的话,应该是36-12=24。 | |
| 再检查一下,12个苹果,每个3个,12×3=36,没错。然后总数是36-12=24,应该是对的。 | |
| 可能需要注意的地方是,是否理解“现在有几个”是指总数减去已有的数量,也就是总数减去已有的数量,所以总数减去已有的数量就是现在的数量。这里总数是12,已有的数量是36,所以现在的数量是36-12=24。 | |
| 总结一下,步骤是:先算小红买了多少个,再减去5个,得到现在的数量。计算过程正确,结果应该是24个。 | |
| </think> | |
| 小明有12个苹果,小红买了5个,因此小红买了: | |
| **12 × 3 = 36个** | |
| 现在需要计算现在有多少个苹果。 | |
| **总数 - 已有的数量 = 总数 - 已有的数量 = 36 - 12 = 24个** | |
| **答案:现在有几个?**<|im_end|> | |
| ``` | |