Qwen3.5-9B for onw โ Intel NPU ใ ใใงๅใ๏ผใใญในใ๏ผ็ปๅ๏ผ
ๆฅๆฌ่ช | English
Qwen/Qwen3.5-9B ใ **onw**๏ผไฟบใฎNPUใใใใชใซๅใใใใชใ๏ผ็จใซๅคๆใใใขใใซใงใใonw ใฏ LLM ใ Intel NPU ใ ใใงๅใใใจใณใธใณใงใใใฎใชใใธใใชใซใฏใขใใซใ ใใๅ ฅใฃใฆใใพใ๏ผใจใณใธใณใฏๅฅใซใใฆใณใญใผใใใพใ๏ผใ
ใใญในใใจ็ปๅใซๅฏพๅฟใHugging Face ใฎ้ใฟใใ onw convert ใง็ดๆฅไฝใฃใฆใใพใ๏ผๅ็ฌ็ใฏ ryugyosoft/Qwen3.5-9B-npu๏ผใ
็งใใกใฎ็ฅใ้ใใGated DeltaNet ๆททๅจใฎใใคใใชใใใขใใซใ็ปๅๅ ฅๅใพใงๅซใใฆ NPU ใงๅใใๅ ฌ้ๅฎ่ฃ ใฏ onw ใๅใใฆใงใ๏ผ2026 ๅนด 9 ๆใFable 5.1 ่ชฟในใOpenVINO ๅ ฌๅผใฏ Qwen3.5 ใ CPUใปGPU ใฎใฟๅฏพๅฟใจใใฆใใพใ๏ผใ
| NPU 3720๏ผCore Ultra 9 285HX๏ผ | |
|---|---|
| ๅ ฅๅ | ใใญในใ๏ผ็ปๅ |
| ็ๆ้ๅบฆ | 4.1 tok/s๏ผๅ ่ชญใฟๆค่จผใใ๏ผ |
| ใใญใณใใๅฆ็ | ็ปๅ๏ผ่ณชๅ 281 ใใผใฏใณ๏ผ็ปๅ 0.5 ็ง๏ผๅฆ็ 8.0 ็ง |
| ้ทใใใญใณใใ๏ผonw 2.0 ไปฅ้๏ผ | 1024 ใใผใฏใณใง็ด 80ใ87 tok/s๏ผ16 ใใผใฏใณใใคใฎ็ด 31ใ43 ใใ็ด 2ใ2.5 ๅใPanther Lake ใงใฏ็ด 44 โ ็ด 105 tok/s๏ผ |
| ใใฆใณใญใผใ | 5.3 GB |
| ไฝฟ็จใกใขใช๏ผ่ชญใฟ่พผใฟๅพใฎไฝๆฅญใปใใ๏ผ | ็ด 11 GB |
| ๅๅ่ตทๅ๏ผNPU ๅใใณใณใใคใซ๏ผ๏ผ2 ๅ็ฎไปฅ้ | ็ด 13 ๅ๏ผ็ด 20 ็ง |
ๅฏพๅฟ PC๏ผNPU ไปใใฎ Intel Core Ultra๏ผใทใชใผใบ 1๏ผ2๏ผMeteor LakeใปArrow LakeใปLunar Lakeใใทใชใผใบ 3๏ผPanther Lake๏ผใWindows 11 ใพใใฏ Ubuntu 22.04 ไปฅ้ใไธใฎๆฐๅคใฏใในใๆฉ๏ผNPU 3720๏ผใงใฎๅฎๆธฌใงใNPU ใใกใขใช้ใซใใฃใฆๅคใใใพใใ
ไฝฟใๆน
onw๏ผใจใณใธใณ๏ผใๅ ฅใใพใใ ใพใ ใฎๅ ดๅใฏใonw ใฎใใคใณในใใผใซใ ใฎใจใใ 1 ่ก่ฒผใใ ใใงใใWindows ใฏในใฟใผใใกใใฅใผใงใPowerShellใใ้ใใๆฌกใฎ 1 ่กใ่ฒผใฃใฆ Enter๏ผUbuntu ใฏ onw ใฎ README ใฎ
curl ... | bash๏ผใirm https://huggingface.co/ryugyosoft/onw/resolve/main/install.ps1 | iexใฟในใฏใใฌใคใฎ onw ใขใคใณใณใใ้ใ onw ใฆใฃใณใใฆ ใฎใใขใใซใใฟใใง Qwen3.5-9B ใ้ธใณใใใใฆใณใญใผใใใๆผใใพใ๏ผ5.3 GB๏ผใ
ใใตใผใใผใใฟใใงใขใใซใ้ธใใงใใญใผใใใๆผใใพใใๅๅใ ใ NPU ๅใใฎๆบๅใซ็ด 13 ๅใใใใพใใ
ใใใฃใใใใงใใ่ฉฆใใพใใไปใฎใขใใชใใใฏ OpenAI ไบๆ API ใจใใฆไฝฟใใพใ๏ผbase URL ใฏ
http://localhost:8000/v1๏ผใ

from openai import OpenAI
c = OpenAI(base_url="http://localhost:8000/v1", api_key="none")
r = c.chat.completions.create(model="Qwen3.5-9B-onw", messages=[{"role": "user", "content": "ใใใซใกใฏ"}])
print(r.choices[0].message.content)
ไธ็ด่
ๅใ๏ผhf download ryugyosoft/Qwen3.5-9B-onw ใงๅๅพใใใใฉใซใใ onw serve ใใฉใซใ ใง่ตทๅใใใใจใใงใใพใใGit LFS ใชใใฎ git clone ใงใฏ้ใฟใๅ
ฅใใชใใฎใงไฝฟใใชใใงใใ ใใ๏ผonw ใๆคๅบใใฆๆญขใใพใ๏ผใ
ใใผใธใงใณ
- v2๏ผ็พๅจ๏ผ๏ผๅบ้ใฎ้ใฟใ 1 ใใผใฏใณ็จใจ 16 ใใผใฏใณ็จใงๅ ฑๆใๅใ่พผใฟใ INT4 ๅใ็ปๅใจใณใณใผใใผใ INT8 ๅ๏ผ9.4 โ 5.3 GBใไฝฟ็จใกใขใช 21.2 โ 19.9 GB๏ผใๅ็ญใฏ v1 ใจๅใใงใใใ onw 0.3 ไปฅ้ใๅฟ ่ฆใงใใ
- v1๏ผ
hf download ryugyosoft/Qwen3.5-9B-onw --revision v1 --local-dir ...ใงๅใๅบใใพใใ
ใใฆใณใญใผใ้ใฎๅๆธใฎๅคงๅใฏๅใ้ใฟใ 1 ใคใซใพใจใใใใจใซใใใใฎใงใๅฎ่กๆใฏ NPU ใใใญใใฏใตใคใบใใจใซใณใณใใคใซๆธใฟใฎ้ใฟใๆใคใใใไฝฟ็จใกใขใชใฎๆธใๆนใฏๅฐใใใงใใ
ไป็ตใฟ
- 32 ๅฑค๏ผGated DeltaNet 24๏ผใฒใผใไปใใขใใณใทใงใณ 8๏ผใ 8 ๅฑคใใค 4 ๅบ้ใซใใใฐใซใผใ 128 ใฎ INT4ใๅบๅๅฑคใฏ็ฌ็ซใใๅบ้ใงใใญใธใใใไธ่ฆใชใใญใณใใๅฆ็ใงใฏ้ฃใฐใใพใใ
- DeltaNet ใฏใ็ๆๆใฏ 1 ใใผใฏใณ็จใฎ่กๅๅฝขๅผใ16 ใใผใฏใณใฎใใญใณใใๅฆ็ใฏใใญใใฏๅใ ใฎๅณๅฏใช้่กๅใซใใใใฃใณใฏไธฆๅๅฝขๅผใFP16 ใงๅฐใใใชใใใใๅบๅใฏ 1024 ๅใใ็ดๅพใฎใฒใผใไปใ RMSNorm ใฏๆบขใใชใใใๅๅฆ็ใใฆใใพใใ
- ็ปๅใจใณใณใผใใผ๏ผ27 ๅฑคใฎ ViT๏ผใฏ 512ร512 ๅ ฅๅ็จใฎ 1 ๆใฎ้็ใฐใฉใใ็ปๅใใผใฏใณใฎ MRoPE ใฎไฝ็ฝฎใฏใในใใง่จ็ฎใใพใใ
- ่ฉณใใใฏ onw ใฎๆ่ก่งฃ่ชฌใ
ใใกใคใซ
| ใใกใคใซ | ๅ ๅฎน |
|---|---|
seg*_S1.xml, seg*_S16.xml + seg*.bin |
4 ๅบ้๏ผๅบๅๅฑค๏ผ้ใฟใฏๅบ้ใใจใซ 1 ใใกใคใซ๏ผ |
seg*_S64.xml + seg*x.bin |
64 ใใผใฏใณใใคใฎใใญใณใใๅฆ็๏ผonw 2.0 ไปฅ้ใ้ใฟใฏ seg*.bin ใๅ
ฑๆใใseg*x.bin ใฏใใญใใฏใฎๅฝขใ่กจใๆฐ็พใใคใ๏ผ |
vision.xml |
INT8 ใฎ็ปๅใจใณใณใผใใผ๏ผ512ร512 โ 256 ใใผใฏใณ๏ผ |
shared.bin |
INT8 ใฎๅบๅๅฑคใINT4 ใฎๅใ่พผใฟ๏ผใในใใงๅ็ ง๏ผ |
engine.jsonใใใผใฏใใคใถใผ๏ผ่จญๅฎใใกใคใซ |
onw ็จใฎใกใฟใใผใฟใๅ ใฎใชใใธใใชใฎ่จญๅฎ |
ๅ่ณช
ใจใญในใใผใใชใฉใฏใใฃใใซๅไฝใปใฐใซใผใๅไฝใฎ INT4๏ผๅๆจไบๅ ฅ้ๅญๅ๏ผใงใใ็ขบ่ชใใ็ฏๅฒใงใฏๆๅใฎใใผใฏใณใฎไบๆธฌใฏ bf16 ใจไธ่ดใใๅ็ญใฏ่ช็ถใงใใใๆฐใใผใฏใณๅ ใใ่จใๅใใๅ ใฎใขใใซใจๅใใใใใจใใใใพใใ
ใฉใคใปใณใน
Apache 2.0๏ผๅ ใขใใซใจๅใ๏ผใ้ใฟใฏๅ ใขใใซใใๅ้ๅญๅใปๅๆงๆใใใใฎใงใใ
- Downloads last month
- 68