Instructions to use aikexue170/rewrite3-27b-nvfp4 with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use aikexue170/rewrite3-27b-nvfp4 with Transformers:
# Use a pipeline as a high-level helper from transformers import pipeline pipe = pipeline("text-generation", model="aikexue170/rewrite3-27b-nvfp4") messages = [ {"role": "user", "content": "Who are you?"}, ] pipe(messages)# pip install -U transformers accelerate # Load model directly from transformers import AutoTokenizer, AutoModelForCausalLM tokenizer = AutoTokenizer.from_pretrained("aikexue170/rewrite3-27b-nvfp4") model = AutoModelForCausalLM.from_pretrained("aikexue170/rewrite3-27b-nvfp4", device_map="auto") messages = [ {"role": "user", "content": "Who are you?"}, ] inputs = tokenizer.apply_chat_template( messages, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors="pt", ).to(model.device) outputs = model.generate(**inputs, max_new_tokens=256) print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:])) - Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- vLLM
How to use aikexue170/rewrite3-27b-nvfp4 with vLLM:
Install from pip and serve model
# Install vLLM from pip: pip install vllm # Start the vLLM server: vllm serve "aikexue170/rewrite3-27b-nvfp4" # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:8000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "aikexue170/rewrite3-27b-nvfp4", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }'Use Docker
docker model run hf.co/aikexue170/rewrite3-27b-nvfp4
- SGLang
How to use aikexue170/rewrite3-27b-nvfp4 with SGLang:
Install from pip and serve model
# Install SGLang from pip: pip install sglang # Start the SGLang server: python3 -m sglang.launch_server \ --model-path "aikexue170/rewrite3-27b-nvfp4" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "aikexue170/rewrite3-27b-nvfp4", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }'Use Docker images
docker run --gpus all \ --shm-size 32g \ -p 30000:30000 \ -v ~/.cache/huggingface:/root/.cache/huggingface \ --env "HF_TOKEN=<secret>" \ --ipc=host \ lmsysorg/sglang:latest \ python3 -m sglang.launch_server \ --model-path "aikexue170/rewrite3-27b-nvfp4" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "aikexue170/rewrite3-27b-nvfp4", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }' - Docker Model Runner
How to use aikexue170/rewrite3-27b-nvfp4 with Docker Model Runner:
docker model run hf.co/aikexue170/rewrite3-27b-nvfp4
本README已大量使用rewrite3优化文案
量化档位的 JEV 表现
本仓库是 NVFP4(W4A4) 版本,权重 19.7 GB(18.3 GiB)。下面的表是同一批样本下各格式的横评。
「JEV 分」是句子层面的劣质概率,由 jevnovel3 0.8B 打分器给出,能分辨 AI 八股和人类笔触。这套打分器是在大量「AI 味重/人味足」的对照样本上训练出来的,越接近八股套话、注水凑字数,分数就越往上涨。
分数越低越好:0.08 以下算干净,0.08 到 0.12 是正常改写的区间,0.2 往上基本都是眼熟的 AI 味。
再看表格,表格里的每一格都是同一组六条提示跑出来的平均结果,同样的机器,KV cache 也都统一用 bf16,就是为了排除 KV 量化带来的干扰,速度里连思考过程和正文都算了进去。
| 格式 | JEV 均值 ↓ | 脱稿度 ↑ | 最长照抄(字)↓ | 照抄总量 ↓ | 正文长度 | 超长样本 | 平均耗时 |
|---|---|---|---|---|---|---|---|
| FP8(W8A8) | 0.0966 | 0.844 | 31.2 | 54.2 | 1036 | 3/6 | 71s |
| IQ4_XS(GGUF) | 0.0982 | 0.767 | 25.2 | 86.0 | 1007 | 0/6 | 41s |
| NVFP4(W4A4) | 0.1016 | 0.804 | 25.5 | 70.2 | 944 | 0/6 | 43s |
表格里还有两个辅助指标:脱稿度是正文里 5 字窗口「原文没出现过」的比例,越高说明改写得越彻底,加料加得越多;最长照抄和照抄总量统计与原文逐字重合的字数,越少越好(本项目的硬性约束是禁止连续照抄超过 15 字)。
超长样本指的是改写后比原文更长的情况:偶尔会「加料换长度」,介意的话,在提示词里把长度要求写死即可。
我们认为:FP8 > IQ4_XS > NVFP4。 FP8 在照抄与脱稿度上双双拉满,也是我们首选的主力权重;IQ4_XS 速度几乎快一倍、JEV 只差一点,适合显存紧张或本地部署;NVFP4 在 Blackwell 上的显存占用占优,但 JEV 稍高一些。
BF16 是质量基准,但没有单独跑这组 6 条评测;Q3_K_M、Q4_K_M、IQ3_XS 属于 3/4bit 档,暂时还没测试,后续会补。
快速开始
用 vLLM 加载本仓库(需要 vLLM ≥ 0.28 与 Blackwell(sm_120),MTP 用 qwen3_5_mtp 方法):
vllm serve aikexue170/rewrite3-27b-nvfp4 \
--served-model-name rewrite3-27B \
--max-model-len 16384 --max-num-seqs 32 \
--gpu-memory-utilization 0.9 \
--kv-cache-dtype fp8 \
--speculative-config '{"method":"qwen3_5_mtp","num_speculative_tokens":3}'
如果你更想用 GGUF,我们也发布了 IQ4_XS / Q4_K_M / Q3_K_M / IQ3_XS 四个 llama.cpp 版本(MTP 已内嵌,--spec-type draft-mtp 开启)。
全部版本
| 格式 | 定位 | 权重 | Hugging Face | ModelScope |
|---|---|---|---|---|
| BF16 | 质量基准 | 54.7 GB | rewrite3-27b-bf16 | rewrite3-27b-bf16 |
| FP8 W8A8 | 主力部署(48G 级) | 35.9 GB | rewrite3-27b-fp8 | rewrite3-27b-fp8 |
| NVFP4 W4A4(本仓库) | 这个量化炸了,用 IQ4_XS 吧 | 19.7 GB | rewrite3-27b-nvfp4 | rewrite3-27b-nvfp4 |
| IQ4_XS GGUF | 本地优先质量 | 15.5 GB | rewrite3-27b-iq4xs | rewrite3-27b-iq4xs |
| Q4_K_M GGUF | 16G 塞不下,建议 IQ4_XS | 17.0 GB | rewrite3-27b-q4km | rewrite3-27b-q4km |
| Q3_K_M GGUF | 16G 卡余量 | 13.7 GB | rewrite3-27b-q3km | rewrite3-27b-q3km |
| IQ3_XS GGUF | 极限小显存 | 12.3 GB | rewrite3-27b-iq3xs | rewrite3-27b-iq3xs |
训练与评估
我上一代的rewrite2数据集是AIGC劣化输入->人类网文原作输出,一共两万条。后来我们发现了诸多问题:1、由于劣化文普遍长于人类原作,而劣化到原文的映射几乎都是删改为主,不会补充内容,所以模型倾向于缩短字数,导致一些正常长度的文会被改的太短太碎。2、无cot导致模型注意力低下、泛化性差。改文容易出现逻辑错误,文风较差,对长度敏感等等诸多问题。3、模型并不知道哪些是真正的八股,只能凭借数据先验判断句子好坏,造成了识别上的巨大误差,误伤了极多好句子,而对八股杀不全。
针对这三个问题,我全面升级了数据集。首先我引入了我曾经的模型jevnovel3 0.8B作为八股识别器,在整句的末尾以【概率】的形式附加了jevnovel3对本句话“烂”的概率(取观感曲线的末尾作为整句的p_bad),随后使用claude opus 5.5作为第一次扩写,对人类原作进行细节补充,集中加料描写部分,避开引入文段无法推断出来的信息。随后由于claude本身也有八股,所以我们使用jevnovel3对全文打分标记,然后使用spark x 2.6(讯飞星火家的模型,中文写作能力优秀)进行定点修改。再一次进行jevnovel3打分,最终使用kimi k3(强大的中文模型,同样写作优秀)进行最后一轮次修改。经过一轮扩写两轮修改,最终的加料文在jevnovel平均分上已经持平或优于人类原作。随后我们使用gemini 4 argon构建了思维链(因为文学能力极为出众且cot活人感强)。argon接收到人类总结的八股库(告知八股类型)、劣化文原文及其jevnovel分数、最终的加料文,将jevnovel分数、八股类型和改文思路、加料缘由一一推断出来,看答案写过程构建出完整的cot映射。这就是最新的数据集的构建方法。
使用案例
以下是 DeepSeek V4.1 flash 1017 无预设直出效果,及其 rewrite3 改写后效果。
AIGC 原文(全文 1418 字)
我端着餐盘在食堂里扫视了一圈,最后在靠窗的位置找到了她。
校花林晚坐在那里,一个人。她面前放着一碗白粥,一只剥了一半的茶叶蛋,还有一小碟萝卜干。她剥蛋的动作很慢,指甲掐进蛋壳里,一片一片往下撕,像是在做什么精密实验。晨光从窗户斜进来,把她的侧脸照得有点透明,连耳朵尖上那层细细的绒毛都看得清。
我手里端着两个肉包、一碗豆浆,在“假装路过”和“找个不尴尬的位置坐下”之间反复横跳了大概十五秒。最后我选了离她三张桌子远的地方坐下——这个距离比较体面,不会显得刻意,又能让她余光扫到我的时候不至于完全没印象。
其实我连她认不认识我都不确定。我们同一个年级,她在三班,我在七班,隔着一整个走廊。上学期校园文化节的时候,我和她搭过同一部电梯。她当时抱着一摞书法社的展板,最上面那块歪了,我帮她扶了一下。她说了声“谢谢”,声音很轻,像往水里丢了一颗小石子。
就这三个字,我记到现在。
我咬了一口包子,烫得直吸气。豆沙馅流出来沾在手指上,我赶紧拿纸巾擦,擦到一半下意识抬头——她正好看过来。
四目相对,零点几秒。
我瞬间低头,假装在专心致志地研究手里的纸巾。心跳得跟跑完八百米似的,耳朵根子一阵发烫。我在心里骂自己:你躲什么啊?你又不是做了什么亏心事!
但我就是不敢。她太……亮了。那种亮不是刺眼,是像冬天教室里突然开了暖光灯,让人想凑近,又怕手伸过去显得冒犯。据说隔壁班有个男生连着给她带了一个月的早饭,每天一杯热美式一个三明治,放在她桌洞里,她一口都没动过,全分给同桌了。这事传开之后,那个男生被笑了整整一个学期。
我可不想成为下一个笑话。
我闷头喝豆浆,喝得太急,嘴角沾了一圈白沫。我正拿纸巾擦,余光里她站起来了——端着她的粥碗和半个茶叶蛋,朝我这个方向走过来。
我整个人僵住了。手还捏着纸巾按在嘴角,动作定得像被人按了暂停键。
她走到我旁边那张桌子,坐下。原来她是要去对面拿醋瓶子,顺路换个位置。她把碗放下的时候冲我笑了一下,说:“你那个豆沙包,是二楼新出的吗?我昨天想买没抢到。”
我大脑空白了大概两秒。然后我听见自己说:“啊……对,二楼,挺好吃的,就是有点甜。”
说完我就想抽自己。什么叫有点甜?人家就随口一问,你搁这做美食测评呢?
但她没走,还歪了歪头说:“那你觉得红糖馒头跟豆沙包哪个甜?”
我认真想了想,说:“红糖馒头。豆沙包是那种……温柔的甜。”
她愣了一下,然后笑了。眼睛弯起来的时候,有点像食堂门口那只总晒太阳的橘猫。
“温柔的甜,”她重复了一遍,“行,那我下次试试。”
然后她就端着碗回自己位置了。我坐在那儿,豆浆凉了,包子还剩一个,但我突然觉得食堂的广播音乐都变得顺耳了。
我掏出手机给同桌发了条消息:“她刚才跟我说话了。”
三秒后回:“谁?”
“校花。”
“???说什么了?”
我想了想,打字:“讨论了一下红糖馒头和豆沙包的甜度分级。”
对面沉默了十秒,然后回:“你赢了。全校没人用这种方式跟校花搭讪的。”
我把手机揣回兜里,把最后那个包子吃完。她还在旁边那张桌子低头喝粥,耳边的碎发垂下来。我没再过去说话,但走的时候故意绕了半圈,从她斜后方经过,步子放得很稳。
她好像没抬头。但我走到食堂门口的时候,鬼使神差回头看了一眼——她正举起那个剥了一半的茶叶蛋,朝我轻轻晃了晃,像在说“下次见”。
我差点被食堂门槛绊一跤。
但那天的早饭,是我上高中以来吃得最香的一顿。
rewrite3-27B 改写(全文 1551 字)
我端着早餐在食堂里转悠,早上人多,打饭窗口前排着一溜学生,嘈杂声嗡嗡地响,最后才在靠窗的位置看到了她。靠窗的位置上,坐着校花林晚。面前是一碗冒热气的白粥,一只剥了一半的茶叶蛋,还有一碟萝卜干。她剥蛋剥得不紧不慢,剥下来的蛋壳一片一片码在碟子边上。我端着自己的早餐,两个肉包,一碗豆浆,犹豫了一会儿,挑了个离她三张桌子远的位子坐下。这个距离不远也不近,合适得很。我放下托盘,偷偷瞄了一眼,她正低着头,好像在跟那个茶叶蛋较劲。
其实我俩也算半个熟人。同一年的,不过她在三班,我在七班,中间隔了一个走廊,平时见面基本全靠缘分。再说我们学校那么大,偏偏校园文化节那天,我跟她搭了同一部电梯。她抱着一摞书法社的展板,最上面一块歪了,我伸手帮她扶了一下。她说了声谢谢。
我咬了一口包子,烫嘴,豆沙馅顺着指缝流出来,我慌忙抽了张纸巾去擦,抬头一看,正好对上她的目光。
她朝我这边看。
我赶紧低下头假装若无其事,心一下子跳到了嗓子眼,把纸巾揉成一团攥在手心里。我心想,你躲什么啊?又不是做了什么亏心事!但我就是不敢跟她打招呼。她太耀眼了。听说隔壁班有个男生,连着给她带了一个月的早餐,每天一杯热美式配一个三明治,放在她桌洞里,她一口没动,全都转手给了同桌。这件事后来传开了,那个男生被嘲笑了整整一个学期。这种事最好别往自己身上引。我可不想成为下一个笑话。我低头喝着豆浆,喝得腮帮子鼓鼓的,生怕被人看出我心不在焉。正拿纸巾擦嘴角,余光里却看见她起身了。她端着碗,手里还捏着半个茶叶蛋,正朝我这边走过来。
我整个人僵住了,连呼吸都不敢大声,脑子里甚至已经开始盘算待会儿该怎么解释,为什么我会在她面前犯这种低级错误。林晚走到我旁边的桌子坐下。原来她是去对面拿醋瓶子,拿完就顺势在我旁边坐下了。路过我桌边时,裙摆带起一阵风。
她把碗往桌上一放,冲我笑了一下:“你那豆沙包是二楼新出的吗?我昨天去买没买到。”
我一时没反应过来,愣了好一会儿,脑子空空的,等回过神,嘴巴已经先一步把话说了出来:“啊……是二楼,好吃,就是有点甜了。”
说完我就想抽自己。什么叫有点甜了?人家随口一问,你搁这儿做美食测评呢?
她却像是真感兴趣,还追着问了一句:“那你说红糖馒头和豆沙包,哪个甜?”
我张了张嘴,只觉得手心全是汗,脑子里那点准备好的搭讪词全飞了,只好老老实实思考这个问题。“红糖馒头。豆沙包是那种……温和的甜。”
林晚愣了愣,随即笑出声来,眼睛弯成了两道月牙,看着我,好像第一次知道还有人在乎馒头和包子的区别。
“温和的甜,”她点点头,“诶,好,那我下次买来尝尝。”
她拿着醋瓶回到自己的桌子旁,往白粥里滴了两下,继续低头喝粥。我坐在那里,豆浆已经凉了,包子还剩一个没动,可奇怪的是,我突然觉得食堂背景音里放的流行歌,都变得好听起来了。我掏出手机,给同桌发了条消息:“她刚才跟我说话了。”
过了没一会儿,屏幕上跳出三个字:“谁?”
“校花。”我回复得很快,一字一顿地打了过去。
“???说什么了?”
我想了想,觉得自己说得还挺专业,又回复:“讨论了一下红糖馒头和豆沙包的甜度分类。”
对面沉默片刻,回了句:“你赢了。全校应该没人用这种方式跟校花搭讪。”
我把手机揣回兜里,把最后一个包子吃了,又喝了一口凉掉的豆浆。她还坐在旁边那张桌子低头喝粥,一缕头发垂在耳边,被她随手拨到耳后。我偷偷看了两眼,便起身准备去上早读。走出食堂时,我故意绕了个圈子,从她斜后方的位置经过,没敢停步,也刻意放轻了脚步。
她好像没注意到,也没回头。但走出门口时我鬼使神差地往回看了一眼,她正站在窗边,举着手里的半个茶叶蛋冲我挥了挥,像是在打招呼。我几乎被食堂的门槛绊了一跤。
但那天的早餐,是我入校以来吃得最香的一次。
输入按生产流程处理:jevnovel3 0.8B 逐句打分 → 拼上 INSTRUCTION.txt → 送进 rewrite3-27B。示例里省掉了【分数】标记,方便阅读。
使用建议与限制
不要拿它去改写其他文体,比如广告语、公文、法律文书,它只认小说。
虽然训练语料的平均长度在一千五百字上下,但有了 CoT,泛化能力明显变强,实测从八百字到三千字都能稳着出活。超出这个范围,我没有系统地测过,就像没走过的夜路,不好打包票,欢迎大家自己来试试。
它只负责改写中文小说,改别的也行,不过毕竟OOD了出bug也是很正常的。不过我实测下来泛化性还真挺强的,即使喂进来文书它cot也大概率惊讶一下吐槽几句,然后老老实实的改,改完后效果竟然意外挺好。jevnovel3 分数只是重点提示,不是硬性限制,有打分器的时候,会盯着高分句重点杀;没有打分器的情况下也能直接用纯文本喂,【】填NA就行,就是效果会差一些,可能漏杀八股。
另外,jevnovel3 0.8B 是另一个独立模型,不包含在这个仓库里,需要的话请去我jevnovel相关的仓库获取,欢迎取用。低比特格式,尤其是 3bit GGUF,可能会放大复读、提前收尾、直接照抄原文的毛病,建议你在正式使用前,先拿自己的文本抽几条样本测一测。
它继承了基座模型的一些知识限制,同时也会继承输入文本中的某些倾向性,请勿用它产生任何违法内容,也不要把它的输出当成通用的内容审查工具。本次发布的权重采用 Apache-2.0 协议,具体许可条件以 Qwen 官方规定为准。
文件清单
本仓库(NVFP4 W4A4)包含 model_backbone.safetensors 与 model.safetensors.index.json、mtp.safetensors、MTP_EMBED_INFO.json、recipe.yaml、config.json、generation_config.json、tokenizer.json、tokenizer_config.json、chat_template.jinja、INSTRUCTION.txt、SHA256SUMS。加载后建议先跑一条短改写,确认显存与实际输出,再接入生产。
- Downloads last month
- 86
Model tree for aikexue170/rewrite3-27b-nvfp4
Base model
Qwen/Qwen3.8-27B