README: power chart - NPU highlighted, grouped by draft-token setting, average temperature
Browse files- README.md +3 -2
- README_en.md +3 -2
- images/onw-power-en.png +0 -0
- images/onw-power.png +0 -0
README.md
CHANGED
|
@@ -231,7 +231,7 @@ KV キャッシュは INT8 で、会話が実際に使った長さの分だけ
|
|
| 231 |
日本語の長文生成(768 トークン、temperature 0)を各 3 回測った平均です(onw 1.4.0、2026 年 10 月 6 日)。先読み(MTP)の有無で速さが
|
| 232 |
大きく変わるので、使わない同士・使う同士で並べています。
|
| 233 |
|
| 234 |
-
<img src="images/onw-power.png" width="100%" alt="NPU・iGPU・CPU の 1 トークンあたりの電力、生成速度、
|
| 235 |
|
| 236 |
**先読みなし**
|
| 237 |
|
|
@@ -261,7 +261,8 @@ KV キャッシュは INT8 で、会話が実際に使った長さの分だけ
|
|
| 261 |
|
| 262 |
- 1 トークンあたりの電力は NPU が最も少なく、iGPU より 32%(先読みなし)〜40%(MTP あり)少なく、CPU の 3〜4 割です。
|
| 263 |
- 速さは iGPU が最も速く、NPU の 1.2〜1.5 倍です。ただし電力は約 2 倍かかります。
|
| 264 |
-
- NPU
|
|
|
|
| 265 |
|
| 266 |
測り方と注意:
|
| 267 |
- 電力は Linux の RAPL(`intel-rapl:0`、package-0)の電力量を 0.5 秒ごとに読んだものです。SoC(CPU・iGPU・NPU)だけの値で、DRAM(約 0.4〜0.8 W)や PC 全体は含みません。温度は `x86_pkg_temp` です。
|
|
|
|
| 231 |
日本語の長文生成(768 トークン、temperature 0)を各 3 回測った平均です(onw 1.4.0、2026 年 10 月 6 日)。先読み(MTP)の有無で速さが
|
| 232 |
大きく変わるので、使わない同士・使う同士で並べています。
|
| 233 |
|
| 234 |
+
<img src="images/onw-power.png" width="100%" alt="NPU・iGPU・CPU の 1 トークンあたりの電力、生成速度、生成中の平均温度(先読みなし/MTP 先読みあり)">
|
| 235 |
|
| 236 |
**先読みなし**
|
| 237 |
|
|
|
|
| 261 |
|
| 262 |
- 1 トークンあたりの電力は NPU が最も少なく、iGPU より 32%(先読みなし)〜40%(MTP あり)少なく、CPU の 3〜4 割です。
|
| 263 |
- 速さは iGPU が最も速く、NPU の 1.2〜1.5 倍です。ただし電力は約 2 倍かかります。
|
| 264 |
+
- 生成中の平均温度は NPU が 49〜51 ℃(MTP を使っても 2 ℃ しか上がらない)、iGPU は 65〜67 ℃、CPU は 88〜89 ℃ です。最大は
|
| 265 |
+
NPU 59〜71 ℃、iGPU 84〜91 ℃、CPU 95〜96 ℃ でした。
|
| 266 |
|
| 267 |
測り方と注意:
|
| 268 |
- 電力は Linux の RAPL(`intel-rapl:0`、package-0)の電力量を 0.5 秒ごとに読んだものです。SoC(CPU・iGPU・NPU)だけの値で、DRAM(約 0.4〜0.8 W)や PC 全体は含みません。温度は `x86_pkg_temp` です。
|
README_en.md
CHANGED
|
@@ -217,7 +217,7 @@ Package power and temperature while generating with Qwen3.5-9B on the same PC (L
|
|
| 217 |
the NPU, iGPU and CPU: 768 tokens of Japanese text at temperature 0, average of 3 runs (onw 1.4.0, 2026-10-06). Draft tokens (MTP)
|
| 218 |
change the speed a lot, so runs without them and runs with them are compared separately.
|
| 219 |
|
| 220 |
-
<img src="images/onw-power-en.png" width="100%" alt="Energy per token, decode speed and
|
| 221 |
|
| 222 |
**Without draft tokens**
|
| 223 |
|
|
@@ -247,7 +247,8 @@ Generating 10,000 tokens (computed from the averages above, with MTP draft token
|
|
| 247 |
|
| 248 |
- The NPU uses the least energy per token: 32% (without draft tokens) to 40% (with MTP) less than the iGPU, and 30-40% of the CPU's.
|
| 249 |
- The iGPU is the fastest, 1.2-1.5x the NPU, at about twice the power.
|
| 250 |
-
- The
|
|
|
|
| 251 |
|
| 252 |
How it was measured, and caveats:
|
| 253 |
- Power is the energy counter of Linux RAPL (`intel-rapl:0`, package-0), read every 0.5 s. It covers the SoC (CPU, iGPU, NPU) only, not DRAM (~0.4-0.8 W) or the whole PC. Temperature is `x86_pkg_temp`.
|
|
|
|
| 217 |
the NPU, iGPU and CPU: 768 tokens of Japanese text at temperature 0, average of 3 runs (onw 1.4.0, 2026-10-06). Draft tokens (MTP)
|
| 218 |
change the speed a lot, so runs without them and runs with them are compared separately.
|
| 219 |
|
| 220 |
+
<img src="images/onw-power-en.png" width="100%" alt="Energy per token, decode speed and average temperature while generating on the NPU, iGPU and CPU, without and with MTP draft tokens">
|
| 221 |
|
| 222 |
**Without draft tokens**
|
| 223 |
|
|
|
|
| 247 |
|
| 248 |
- The NPU uses the least energy per token: 32% (without draft tokens) to 40% (with MTP) less than the iGPU, and 30-40% of the CPU's.
|
| 249 |
- The iGPU is the fastest, 1.2-1.5x the NPU, at about twice the power.
|
| 250 |
+
- The average package temperature while generating is 49-51 °C on the NPU (MTP adds only 2 °C), 65-67 °C on the iGPU and 88-89 °C
|
| 251 |
+
on the CPU. Maxima: NPU 59-71 °C, iGPU 84-91 °C, CPU 95-96 °C.
|
| 252 |
|
| 253 |
How it was measured, and caveats:
|
| 254 |
- Power is the energy counter of Linux RAPL (`intel-rapl:0`, package-0), read every 0.5 s. It covers the SoC (CPU, iGPU, NPU) only, not DRAM (~0.4-0.8 W) or the whole PC. Temperature is `x86_pkg_temp`.
|
images/onw-power-en.png
CHANGED
|
|
images/onw-power.png
CHANGED
|
|