Blame for README.md

---
license: apache-2.0
language:
  - ja
  - en
tags:
  - amd
  - npu
  - ryzen-ai
  - xdna2
  - fastflowlm
  - lemonade
---

<img src="images/onw-banner.jpg" alt="onw" width="100%">

# onw AMD — 俺のNPUがこんなに動くわけない（AMD Ryzen AI NPU 版）

**日本語** | [English](README_en.md) ・ [更新履歴](CHANGELOG.md)

LLM を **AMD Ryzen AI の NPU（XDNA2）だけで** 動かすアプリです。[onw](https://huggingface.co/ryugyosoft/onw)（Intel NPU 版）の
UI と仕組み（タスクトレイ常駐、モデル管理ウィンドウ、OpenAI 互換 API、チャット画面、検証ページ、自動更新）はそのままに、
推論を NPU 専用エンジン [FastFlowLM](https://github.com/ROCm/FastFlowLM) に置き換えました。FastFlowLM の取得・起動・中継の
仕組みは [Lemonade Server](https://github.com/lemonade-sdk/lemonade) から移植しています。

- **NPU で動かす機能だけ**です。CPU・GPU（iGPU）・NPU+GPU のハイブリッドでは動かしません。
- NPU エンジンは FastFlowLM（`flm` v1.0.7、約 40 MB）だけで、初回に自動でダウンロードします。モデルは `flm list` に出る
  チャットモデル（Qwen3.5／3.6、Gemma 4、gpt-oss、Llama 3.x、Phi-4-mini、LFM2 など）です。

## 必要なもの

- **XDNA2 の NPU を持つ AMD Ryzen AI の PC**（Ryzen AI 300 シリーズ〔Strix Point / Krackan Point〕、Ryzen AI Max〔Strix Halo〕以降）。
  XDNA1（Ryzen 7040/8040 の Phoenix / Hawk Point）は FastFlowLM が対応していないため動きません。
- **NPU ドライバー**（Windows：デバイスマネージャーに「NPU Compute Accelerator Device」が出ていること。
  入れ方は [Lemonade のドライバー案内](https://lemonade-server.ai/driver_install.html)）。onw は `flm validate` で確認します。
- Windows 11、または Linux（`amdxdna` ドライバー）
- 空き容量：FastFlowLM 約 40 MB ＋ モデル 1〜22 GB

## インストール

**Windows**（PowerShell に 1 行貼り付け）

```powershell
irm https://huggingface.co/ryugyosoft/onwAMD/resolve/main/install.ps1 | iex
```

`%LOCALAPPDATA%\onw-amd` に入り、タスクトレイに onw のアイコンが出て、モデルを選ぶウィンドウが開きます。
フォルダを直接持っている場合は `setup.bat` を実行してください。

**Linux**

```bash
curl -fsSL https://huggingface.co/ryugyosoft/onwAMD/resolve/main/install.sh | bash
```

## 使い方

1. onw ウィンドウの「**モデル**」タブで、上の「FastFlowLM」の「入れる」を押すとモデルの一覧が出ます。
   使いたいモデルの「ダウンロード」を押します（FastFlowLM がまだなら、先に自動で入ります）。
2. 「**サーバー**」タブでモデルを選んで「ロード」。状態が「動作中」になったら使えます（ロードは十数秒）。
3. 「チャット」でブラウザのチャット画面、「検証ページ」で応答開始までの時間と生成速度をまとめて測れます。
4. 他のアプリからは **OpenAI 互換 API**：base URL `http://localhost:8010/v1`、モデル名はウィンドウに表示される名前
   （例 `qwen3-it-4b-FLM`）。

迷ったら **qwen3-it-4b-FLM**（3.1 GB、ツール呼び出し対応）、画像も読ませたいなら **qwen3.5-4b-FLM**（5.0 GB）。
テスト機（Ryzen AI 9 HX 370）では qwen3.5-0.8b で生成 約 44 tok/s、応答開始 約 0.5 秒でした。

- 思考モード（reasoning のラベルがあるモデル）：チャット画面の「思考モード」、API の
  `chat_template_kwargs: {"enable_thinking": true}` か `reasoning_effort`。思考は `reasoning_content` に分けて返します。

### うまく動かないとき

「モデル」タブに FastFlowLM の NPU チェックの結果（理由）が出ます。それでも分からないときは診断スクリプトを実行し、
保存される `onw-amd-diag.txt` を送ってください（読み取りのみ。`--try-model` を付けると小さいモデルで実際に試します）。

```bash
curl -fsSL https://huggingface.co/ryugyosoft/onwAMD/resolve/main/diag.py | python3 - --try-model
```

Windows（PowerShell）は `irm https://huggingface.co/ryugyosoft/onwAMD/resolve/main/diag.py | python - --try-model`。

### `onw` コマンド

```bash
onw serve MODEL [--port 8010] [--host 0.0.0.0] [--api-key KEY] [--context 4096] [--open]
onw tray                   # 常駐アプリ（setup が起動するもの）
onw window [--tab models]  # モデル管理・サーバー操作・設定のウィンドウ
onw list                   # この PC で動かせるモデル（* はダウンロード済み）
onw npu                    # NPU と FastFlowLM の状態（flm validate の結果も）
```

`onw serve` はモデルや FastFlowLM がなければ先にダウンロードします（コンソールで 1 回だけ動かすなら `start.bat モデル名`）。

### サーバー

- `GET /`（案内）、`/health`（モデルを読み終わると 200、読み込み中は 503）、`/v1/models`、
  `POST /v1/chat/completions`（ストリーミング可）、`POST /v1/completions`、`/chat`、`/check`、`/api/info`
- 既定のポートは 8010 です（Lemonade Server がよく使う 8000 とぶつからないように）。設定画面で変えられます。
- CORS は開放済み。LAN に公開するときは API キー（`--api-key` または設定画面）で `/v1` を保護できます。
- 仕組みは Lemonade Server と同じです：`flm serve` を空いているローカルのポート（8001〜）で子プロセスとして起動し、
  リクエストを転送します（`model` は FastFlowLM のチェックポイント名に書き換えます）。onw のサーバーが止まれば
  FastFlowLM も必ず止まり（Windows ではジョブオブジェクト）、FastFlowLM が止まれば onw のサーバーも止まってウィンドウに理由が出ます。

### 保存場所

| もの | 場所 |
|---|---|
| 設定・ログ | `%APPDATA%\onw-amd`（Linux: `~/.config/onw-amd`） |
| FastFlowLM | `%APPDATA%\onw-amd\bin\flm\npu` |
| モデル | 保存先フォルダ（既定 `%APPDATA%\onw-amd\flm`、ウィンドウで変更可）。`FLM_MODEL_PATH` として flm に渡します |

## 構成

| ファイル | 内容 |
|---|---|
| `onw/lemonade.py` | Lemonade Server の FastFlowLM 経路の移植：XDNA2 の検出、FastFlowLM の取得（版は Lemonade の `backend_versions.json` と同じ）、`flm validate / list / pull / remove`、起動コマンド、準備完了の待ち合わせ |
| `onw/server.py` | OpenAI 互換サーバー：FastFlowLM を起動して転送、思考モードの変換、チャット画面・検証ページ・API キー |
| `onw/app.py`、`onw/manager.py`、`onw/dl.py` | 設定・モデル一覧・サーバープロセスの管理、ウィンドウの裏側（ローカル API）、ダウンロード（別プロセス） |
| `onw/tray.py`、`onw/update.py`、`onw/i18n.py`、`onw/web/` | トレイアイコン、自動更新、表示言語（日本語・英語・中国語）、画面 |

## ライセンス

Powered by [FastFlowLM](https://github.com/ROCm/FastFlowLM)

コードは Apache 2.0（onw と同じ）。`onw/lemonade.py` は Lemonade Server（Apache 2.0、AMD / lemonade-sdk）のコードを移植したものです。
FastFlowLM は onw には含まれず、実行時に公式のリリースからダウンロードされます（コードは MIT、NPU カーネルはソース非公開だが商用を含め無償）。
モデルはそれぞれのモデルのライセンスに従います。