Qwen3.5-9B for onw โ€” Intel NPU ใ ใ‘ใงๅ‹•ใ๏ผˆใƒ†ใ‚ญใ‚นใƒˆ๏ผ‹็”ปๅƒ๏ผ‰

ๆ—ฅๆœฌ่ชž | English

Qwen/Qwen3.5-9B ใ‚’ **onw**๏ผˆไฟบใฎNPUใŒใ“ใ‚“ใชใซๅ‹•ใใ‚ใ‘ใชใ„๏ผ‰็”จใซๅค‰ๆ›ใ—ใŸใƒขใƒ‡ใƒซใงใ™ใ€‚onw ใฏ LLM ใ‚’ Intel NPU ใ ใ‘ใงๅ‹•ใ‹ใ™ใ‚จใƒณใ‚ธใƒณใงใ€ใ“ใฎใƒชใƒใ‚ธใƒˆใƒชใซใฏใƒขใƒ‡ใƒซใ ใ‘ใŒๅ…ฅใฃใฆใ„ใพใ™๏ผˆใ‚จใƒณใ‚ธใƒณใฏๅˆฅใซใƒ€ใ‚ฆใƒณใƒญใƒผใƒ‰ใ—ใพใ™๏ผ‰ใ€‚

ใƒ†ใ‚ญใ‚นใƒˆใจ็”ปๅƒใซๅฏพๅฟœใ€‚Hugging Face ใฎ้‡ใฟใ‹ใ‚‰ onw convert ใง็›ดๆŽฅไฝœใฃใฆใ„ใพใ™๏ผˆๅ˜็‹ฌ็‰ˆใฏ ryugyosoft/Qwen3.5-9B-npu๏ผ‰ใ€‚

็งใŸใกใฎ็Ÿฅใ‚‹้™ใ‚Šใ€Gated DeltaNet ๆททๅœจใฎใƒใ‚คใƒ–ใƒชใƒƒใƒ‰ใƒขใƒ‡ใƒซใ‚’็”ปๅƒๅ…ฅๅŠ›ใพใงๅซใ‚ใฆ NPU ใงๅ‹•ใ‹ใ™ๅ…ฌ้–‹ๅฎŸ่ฃ…ใฏ onw ใŒๅˆใ‚ใฆใงใ™๏ผˆ2026 ๅนด 9 ๆœˆใ€Fable 5.1 ่ชฟในใ€‚OpenVINO ๅ…ฌๅผใฏ Qwen3.5 ใ‚’ CPUใƒปGPU ใฎใฟๅฏพๅฟœใจใ—ใฆใ„ใพใ™๏ผ‰ใ€‚

NPU 3720๏ผˆCore Ultra 9 285HX๏ผ‰
ๅ…ฅๅŠ› ใƒ†ใ‚ญใ‚นใƒˆ๏ผ‹็”ปๅƒ
็”Ÿๆˆ้€Ÿๅบฆ 4.1 tok/s๏ผˆๅ…ˆ่ชญใฟๆคœ่จผใ‚ใ‚Š๏ผ‰
ใƒ—ใƒญใƒณใƒ—ใƒˆๅ‡ฆ็† ็”ปๅƒ๏ผ‹่ณชๅ• 281 ใƒˆใƒผใ‚ฏใƒณ๏ผš็”ปๅƒ 0.5 ็ง’๏ผ‹ๅ‡ฆ็† 8.0 ็ง’
้•ทใ„ใƒ—ใƒญใƒณใƒ—ใƒˆ๏ผˆonw 2.0 ไปฅ้™๏ผ‰ 1024 ใƒˆใƒผใ‚ฏใƒณใง็ด„ 80ใ€œ87 tok/s๏ผˆ16 ใƒˆใƒผใ‚ฏใƒณใšใคใฎ็ด„ 31ใ€œ43 ใ‹ใ‚‰็ด„ 2ใ€œ2.5 ๅ€ใ€‚Panther Lake ใงใฏ็ด„ 44 โ†’ ็ด„ 105 tok/s๏ผ‰
ใƒ€ใ‚ฆใƒณใƒญใƒผใƒ‰ 5.3 GB
ไฝฟ็”จใƒกใƒขใƒช๏ผˆ่ชญใฟ่พผใฟๅพŒใฎไฝœๆฅญใ‚ปใƒƒใƒˆ๏ผ‰ ็ด„ 11 GB
ๅˆๅ›ž่ตทๅ‹•๏ผˆNPU ๅ‘ใ‘ใ‚ณใƒณใƒ‘ใ‚คใƒซ๏ผ‰๏ผ2 ๅ›ž็›ฎไปฅ้™ ็ด„ 13 ๅˆ†๏ผ็ด„ 20 ็ง’

ๅฏพๅฟœ PC๏ผšNPU ไป˜ใใฎ Intel Core Ultra๏ผˆใ‚ทใƒชใƒผใ‚บ 1๏ผ2๏ผšMeteor LakeใƒปArrow LakeใƒปLunar Lakeใ€ใ‚ทใƒชใƒผใ‚บ 3๏ผšPanther Lake๏ผ‰ใ€Windows 11 ใพใŸใฏ Ubuntu 22.04 ไปฅ้™ใ€‚ไธŠใฎๆ•ฐๅ€คใฏใƒ†ใ‚นใƒˆๆฉŸ๏ผˆNPU 3720๏ผ‰ใงใฎๅฎŸๆธฌใงใ€NPU ใ‚„ใƒกใƒขใƒช้‡ใซใ‚ˆใฃใฆๅค‰ใ‚ใ‚Šใพใ™ใ€‚

ไฝฟใ„ๆ–น

  1. onw๏ผˆใ‚จใƒณใ‚ธใƒณ๏ผ‰ใ‚’ๅ…ฅใ‚Œใพใ™ใ€‚ ใพใ ใฎๅ ดๅˆใฏใ€onw ใฎใ€Œใ‚คใƒณใ‚นใƒˆใƒผใƒซใ€ ใฎใจใŠใ‚Š 1 ่กŒ่ฒผใ‚‹ใ ใ‘ใงใ™ใ€‚Windows ใฏใ‚นใ‚ฟใƒผใƒˆใƒกใƒ‹ใƒฅใƒผใงใ€ŒPowerShellใ€ใ‚’้–‹ใใ€ๆฌกใฎ 1 ่กŒใ‚’่ฒผใฃใฆ Enter๏ผˆUbuntu ใฏ onw ใฎ README ใฎ curl ... | bash๏ผ‰ใ€‚

    irm https://huggingface.co/ryugyosoft/onw/resolve/main/install.ps1 | iex
    
  2. ใ‚ฟใ‚นใ‚ฏใƒˆใƒฌใ‚คใฎ onw ใ‚ขใ‚คใ‚ณใƒณใ‹ใ‚‰้–‹ใ onw ใ‚ฆใ‚ฃใƒณใƒ‰ใ‚ฆ ใฎใ€Œใƒขใƒ‡ใƒซใ€ใ‚ฟใƒ–ใง Qwen3.5-9B ใ‚’้ธใณใ€ใ€Œใƒ€ใ‚ฆใƒณใƒญใƒผใƒ‰ใ€ใ‚’ๆŠผใ—ใพใ™๏ผˆ5.3 GB๏ผ‰ใ€‚

  3. ใ€Œใ‚ตใƒผใƒใƒผใ€ใ‚ฟใƒ–ใงใƒขใƒ‡ใƒซใ‚’้ธใ‚“ใงใ€Œใƒญใƒผใƒ‰ใ€ใ‚’ๆŠผใ—ใพใ™ใ€‚ๅˆๅ›žใ ใ‘ NPU ๅ‘ใ‘ใฎๆบ–ๅ‚™ใซ็ด„ 13 ๅˆ†ใ‹ใ‹ใ‚Šใพใ™ใ€‚

  4. ใ€Œใƒใƒฃใƒƒใƒˆใ€ใงใ™ใ่ฉฆใ›ใพใ™ใ€‚ไป–ใฎใ‚ขใƒ—ใƒชใ‹ใ‚‰ใฏ OpenAI ไบ’ๆ› API ใจใ—ใฆไฝฟใˆใพใ™๏ผˆbase URL ใฏ http://localhost:8000/v1๏ผ‰ใ€‚

onw ใ‚ฆใ‚ฃใƒณใƒ‰ใ‚ฆใฎใ€Œใƒขใƒ‡ใƒซใ€ใ‚ฟใƒ–

ใ€Œใ‚ตใƒผใƒใƒผใ€ใ‚ฟใƒ– ใ€Œ่จญๅฎšใ€ใ‚ฟใƒ–

from openai import OpenAI
c = OpenAI(base_url="http://localhost:8000/v1", api_key="none")
r = c.chat.completions.create(model="Qwen3.5-9B-onw", messages=[{"role": "user", "content": "ใ“ใ‚“ใซใกใฏ"}])
print(r.choices[0].message.content)

ไธŠ็ดš่€…ๅ‘ใ‘๏ผšhf download ryugyosoft/Qwen3.5-9B-onw ใงๅ–ๅพ—ใ—ใŸใƒ•ใ‚ฉใƒซใƒ€ใ‚’ onw serve ใƒ•ใ‚ฉใƒซใƒ€ ใง่ตทๅ‹•ใ™ใ‚‹ใ“ใจใ‚‚ใงใใพใ™ใ€‚Git LFS ใชใ—ใฎ git clone ใงใฏ้‡ใฟใŒๅ…ฅใ‚‰ใชใ„ใฎใงไฝฟใ‚ใชใ„ใงใใ ใ•ใ„๏ผˆonw ใŒๆคœๅ‡บใ—ใฆๆญขใ‚ใพใ™๏ผ‰ใ€‚

ใƒใƒผใ‚ธใƒงใƒณ

  • v2๏ผˆ็พๅœจ๏ผ‰๏ผšๅŒบ้–“ใฎ้‡ใฟใ‚’ 1 ใƒˆใƒผใ‚ฏใƒณ็”จใจ 16 ใƒˆใƒผใ‚ฏใƒณ็”จใงๅ…ฑๆœ‰ใ€ๅŸ‹ใ‚่พผใฟใ‚’ INT4 ๅŒ–ใ€็”ปๅƒใ‚จใƒณใ‚ณใƒผใƒ€ใƒผใ‚’ INT8 ๅŒ–๏ผˆ9.4 โ†’ 5.3 GBใ€ไฝฟ็”จใƒกใƒขใƒช 21.2 โ†’ 19.9 GB๏ผ‰ใ€‚ๅ›ž็ญ”ใฏ v1 ใจๅŒใ˜ใงใ—ใŸใ€‚ onw 0.3 ไปฅ้™ใŒๅฟ…่ฆใงใ™ใ€‚
  • v1๏ผšhf download ryugyosoft/Qwen3.5-9B-onw --revision v1 --local-dir ... ใงๅ–ใ‚Šๅ‡บใ›ใพใ™ใ€‚

ใƒ€ใ‚ฆใƒณใƒญใƒผใƒ‰้‡ใฎๅ‰Šๆธ›ใฎๅคงๅŠใฏๅŒใ˜้‡ใฟใ‚’ 1 ใคใซใพใจใ‚ใŸใ“ใจใซใ‚ˆใ‚‹ใ‚‚ใฎใงใ€ๅฎŸ่กŒๆ™‚ใฏ NPU ใŒใƒ–ใƒญใƒƒใ‚ฏใ‚ตใ‚คใ‚บใ”ใจใซใ‚ณใƒณใƒ‘ใ‚คใƒซๆธˆใฟใฎ้‡ใฟใ‚’ๆŒใคใŸใ‚ใ€ไฝฟ็”จใƒกใƒขใƒชใฎๆธ›ใ‚Šๆ–นใฏๅฐใ•ใ‚ใงใ™ใ€‚

ไป•็ต„ใฟ

  • 32 ๅฑค๏ผˆGated DeltaNet 24๏ผ‹ใ‚ฒใƒผใƒˆไป˜ใใ‚ขใƒ†ใƒณใ‚ทใƒงใƒณ 8๏ผ‰ใ‚’ 8 ๅฑคใšใค 4 ๅŒบ้–“ใซใ—ใ€ใ‚ฐใƒซใƒผใƒ— 128 ใฎ INT4ใ€‚ๅ‡บๅŠ›ๅฑคใฏ็‹ฌ็ซ‹ใ—ใŸๅŒบ้–“ใงใ€ใƒญใ‚ธใƒƒใƒˆใŒไธ่ฆใชใƒ—ใƒญใƒณใƒ—ใƒˆๅ‡ฆ็†ใงใฏ้ฃ›ใฐใ—ใพใ™ใ€‚
  • DeltaNet ใฏใ€็”Ÿๆˆๆ™‚ใฏ 1 ใƒˆใƒผใ‚ฏใƒณ็”จใฎ่กŒๅˆ—ๅฝขๅผใ€16 ใƒˆใƒผใ‚ฏใƒณใฎใƒ—ใƒญใƒณใƒ—ใƒˆๅ‡ฆ็†ใฏใƒ–ใƒญใƒƒใ‚ฏๅ€ใ€…ใฎๅŽณๅฏ†ใช้€†่กŒๅˆ—ใซใ‚ˆใ‚‹ใƒใƒฃใƒณใ‚ฏไธฆๅˆ—ๅฝขๅผใ€‚FP16 ใงๅฐใ•ใใชใ‚Šใ™ใŽใ‚‹ๅ‡บๅŠ›ใฏ 1024 ๅ€ใ—ใ€็›ดๅพŒใฎใ‚ฒใƒผใƒˆไป˜ใ RMSNorm ใฏๆบขใ‚Œใชใ„ใ‚ˆใ†ๅ‰ๅ‡ฆ็†ใ—ใฆใ„ใพใ™ใ€‚
  • ็”ปๅƒใ‚จใƒณใ‚ณใƒผใƒ€ใƒผ๏ผˆ27 ๅฑคใฎ ViT๏ผ‰ใฏ 512ร—512 ๅ…ฅๅŠ›็”จใฎ 1 ๆžšใฎ้™็š„ใ‚ฐใƒฉใƒ•ใ€‚็”ปๅƒใƒˆใƒผใ‚ฏใƒณใฎ MRoPE ใฎไฝ็ฝฎใฏใƒ›ใ‚นใƒˆใง่จˆ็ฎ—ใ—ใพใ™ใ€‚
  • ่ฉณใ—ใใฏ onw ใฎๆŠ€่ก“่งฃ่ชฌใ€‚

ใƒ•ใ‚กใ‚คใƒซ

ใƒ•ใ‚กใ‚คใƒซ ๅ†…ๅฎน
seg*_S1.xml, seg*_S16.xml + seg*.bin 4 ๅŒบ้–“๏ผ‹ๅ‡บๅŠ›ๅฑค๏ผˆ้‡ใฟใฏๅŒบ้–“ใ”ใจใซ 1 ใƒ•ใ‚กใ‚คใƒซ๏ผ‰
seg*_S64.xml + seg*x.bin 64 ใƒˆใƒผใ‚ฏใƒณใšใคใฎใƒ—ใƒญใƒณใƒ—ใƒˆๅ‡ฆ็†๏ผˆonw 2.0 ไปฅ้™ใ€‚้‡ใฟใฏ seg*.bin ใ‚’ๅ…ฑๆœ‰ใ—ใ€seg*x.bin ใฏใƒ–ใƒญใƒƒใ‚ฏใฎๅฝขใ‚’่กจใ™ๆ•ฐ็™พใƒใ‚คใƒˆ๏ผ‰
vision.xml INT8 ใฎ็”ปๅƒใ‚จใƒณใ‚ณใƒผใƒ€ใƒผ๏ผˆ512ร—512 โ†’ 256 ใƒˆใƒผใ‚ฏใƒณ๏ผ‰
shared.bin INT8 ใฎๅ‡บๅŠ›ๅฑคใ€INT4 ใฎๅŸ‹ใ‚่พผใฟ๏ผˆใƒ›ใ‚นใƒˆใงๅ‚็…ง๏ผ‰
engine.jsonใ€ใƒˆใƒผใ‚ฏใƒŠใ‚คใ‚ถใƒผ๏ผ่จญๅฎšใƒ•ใ‚กใ‚คใƒซ onw ็”จใฎใƒกใ‚ฟใƒ‡ใƒผใ‚ฟใ€ๅ…ƒใฎใƒชใƒใ‚ธใƒˆใƒชใฎ่จญๅฎš

ๅ“่ณช

ใ‚จใ‚ญใ‚นใƒ‘ใƒผใƒˆใชใฉใฏใƒใƒฃใƒใƒซๅ˜ไฝใƒปใ‚ฐใƒซใƒผใƒ—ๅ˜ไฝใฎ INT4๏ผˆๅ››ๆจไบ”ๅ…ฅ้‡ๅญๅŒ–๏ผ‰ใงใ™ใ€‚็ขบ่ชใ—ใŸ็ฏ„ๅ›ฒใงใฏๆœ€ๅˆใฎใƒˆใƒผใ‚ฏใƒณใฎไบˆๆธฌใฏ bf16 ใจไธ€่‡ดใ—ใ€ๅ›ž็ญ”ใฏ่‡ช็„ถใงใ™ใŒใ€ๆ•ฐใƒˆใƒผใ‚ฏใƒณๅ…ˆใ‹ใ‚‰่จ€ใ„ๅ›žใ—ใŒๅ…ƒใฎใƒขใƒ‡ใƒซใจๅˆ†ใ‹ใ‚Œใ‚‹ใ“ใจใŒใ‚ใ‚Šใพใ™ใ€‚

ใƒฉใ‚คใ‚ปใƒณใ‚น

Apache 2.0๏ผˆๅ…ƒใƒขใƒ‡ใƒซใจๅŒใ˜๏ผ‰ใ€‚้‡ใฟใฏๅ…ƒใƒขใƒ‡ใƒซใ‹ใ‚‰ๅ†้‡ๅญๅŒ–ใƒปๅ†ๆง‹ๆˆใ—ใŸใ‚‚ใฎใงใ™ใ€‚

Downloads last month
68
Inference Providers NEW
This model isn't deployed by any Inference Provider. ๐Ÿ™‹ Ask for provider support

Model tree for ryugyosoft/Qwen3.5-9B-onw

Finetuned
Qwen/Qwen3.5-9B
Finetuned
(1,493)
this model