ryugyosoft commited on
Commit
71b7ebb
·
verified ·
1 Parent(s): b53d071

README: power chart - NPU highlighted, grouped by draft-token setting, average temperature

Browse files
Files changed (4) hide show
  1. README.md +3 -2
  2. README_en.md +3 -2
  3. images/onw-power-en.png +0 -0
  4. images/onw-power.png +0 -0
README.md CHANGED
@@ -231,7 +231,7 @@ KV キャッシュは INT8 で、会話が実際に使った長さの分だけ
231
  日本語の長文生成(768 トークン、temperature 0)を各 3 回測った平均です(onw 1.4.0、2026 年 10 月 6 日)。先読み(MTP)の有無で速さが
232
  大きく変わるので、使わない同士・使う同士で並べています。
233
 
234
- <img src="images/onw-power.png" width="100%" alt="NPU・iGPU・CPU の 1 トークンあたりの電力、生成速度、最高温度(先読みなし/MTP 先読みあり)">
235
 
236
  **先読みなし**
237
 
@@ -261,7 +261,8 @@ KV キャッシュは INT8 で、会話が実際に使った長さの分だけ
261
 
262
  - 1 トークンあたりの電力は NPU が最も少なく、iGPU より 32%(先読みなし)〜40%(MTP あり)少なく、CPU の 3〜4 割です。
263
  - 速さは iGPU が最も速く、NPU の 1.2〜1.5 倍です。ただし電力は約 2 倍かかります。
264
- - NPU は最大でも 71 ℃ に収まります。iGPU は 84〜91 ℃、CPU は 95〜96 ℃ まで上がりました。
 
265
 
266
  測り方と注意:
267
  - 電力は Linux の RAPL(`intel-rapl:0`、package-0)の電力量を 0.5 秒ごとに読んだものです。SoC(CPU・iGPU・NPU)だけの値で、DRAM(約 0.4〜0.8 W)や PC 全体は含みません。温度は `x86_pkg_temp` です。
 
231
  日本語の長文生成(768 トークン、temperature 0)を各 3 回測った平均です(onw 1.4.0、2026 年 10 月 6 日)。先読み(MTP)の有無で速さが
232
  大きく変わるので、使わない同士・使う同士で並べています。
233
 
234
+ <img src="images/onw-power.png" width="100%" alt="NPU・iGPU・CPU の 1 トークンあたりの電力、生成速度、生成中の平均温度(先読みなし/MTP 先読みあり)">
235
 
236
  **先読みなし**
237
 
 
261
 
262
  - 1 トークンあたりの電力は NPU が最も少なく、iGPU より 32%(先読みなし)〜40%(MTP あり)少なく、CPU の 3〜4 割です。
263
  - 速さは iGPU が最も速く、NPU の 1.2〜1.5 倍です。ただし電力は約 2 倍かかります。
264
+ - 生成中の平均温度は NPU が 49〜51 ℃(MTP を使っても 2 ℃ しか上がらない)、iGPU は 65〜67 ℃、CPU は 88〜89 ℃ です。最大は
265
+ NPU 59〜71 ℃、iGPU 84〜91 ℃、CPU 95〜96 ℃ でした。
266
 
267
  測り方と注意:
268
  - 電力は Linux の RAPL(`intel-rapl:0`、package-0)の電力量を 0.5 秒ごとに読んだものです。SoC(CPU・iGPU・NPU)だけの値で、DRAM(約 0.4〜0.8 W)や PC 全体は含みません。温度は `x86_pkg_temp` です。
README_en.md CHANGED
@@ -217,7 +217,7 @@ Package power and temperature while generating with Qwen3.5-9B on the same PC (L
217
  the NPU, iGPU and CPU: 768 tokens of Japanese text at temperature 0, average of 3 runs (onw 1.4.0, 2026-10-06). Draft tokens (MTP)
218
  change the speed a lot, so runs without them and runs with them are compared separately.
219
 
220
- <img src="images/onw-power-en.png" width="100%" alt="Energy per token, decode speed and max temperature on the NPU, iGPU and CPU, without and with MTP draft tokens">
221
 
222
  **Without draft tokens**
223
 
@@ -247,7 +247,8 @@ Generating 10,000 tokens (computed from the averages above, with MTP draft token
247
 
248
  - The NPU uses the least energy per token: 32% (without draft tokens) to 40% (with MTP) less than the iGPU, and 30-40% of the CPU's.
249
  - The iGPU is the fastest, 1.2-1.5x the NPU, at about twice the power.
250
- - The NPU stays at or below 71 °C. The iGPU reached 84-91 °C and the CPU 95-96 °C.
 
251
 
252
  How it was measured, and caveats:
253
  - Power is the energy counter of Linux RAPL (`intel-rapl:0`, package-0), read every 0.5 s. It covers the SoC (CPU, iGPU, NPU) only, not DRAM (~0.4-0.8 W) or the whole PC. Temperature is `x86_pkg_temp`.
 
217
  the NPU, iGPU and CPU: 768 tokens of Japanese text at temperature 0, average of 3 runs (onw 1.4.0, 2026-10-06). Draft tokens (MTP)
218
  change the speed a lot, so runs without them and runs with them are compared separately.
219
 
220
+ <img src="images/onw-power-en.png" width="100%" alt="Energy per token, decode speed and average temperature while generating on the NPU, iGPU and CPU, without and with MTP draft tokens">
221
 
222
  **Without draft tokens**
223
 
 
247
 
248
  - The NPU uses the least energy per token: 32% (without draft tokens) to 40% (with MTP) less than the iGPU, and 30-40% of the CPU's.
249
  - The iGPU is the fastest, 1.2-1.5x the NPU, at about twice the power.
250
+ - The average package temperature while generating is 49-51 °C on the NPU (MTP adds only 2 °C), 65-67 °C on the iGPU and 88-89 °C
251
+ on the CPU. Maxima: NPU 59-71 °C, iGPU 84-91 °C, CPU 95-96 °C.
252
 
253
  How it was measured, and caveats:
254
  - Power is the energy counter of Linux RAPL (`intel-rapl:0`, package-0), read every 0.5 s. It covers the SoC (CPU, iGPU, NPU) only, not DRAM (~0.4-0.8 W) or the whole PC. Temperature is `x86_pkg_temp`.
images/onw-power-en.png CHANGED
images/onw-power.png CHANGED