onwx — AMD Ryzen AI の NPU で LLM
日本語 | English
LLM を AMD Ryzen AI の NPU（XDNA2）だけで 動かすアプリです。行列計算から DeltaNet・アテンション・LM ヘッドまで、 1 トークンの計算をすべて NPU の上で行います（CPU は単語の表引きと次の単語の選択だけ）。NPU 向けのプログラムは モデルごとに作ってあるので、PC の上でコンパイルを待つことはありません。
OpenAI 互換 API サーバーとブラウザのチャット画面、タスクトレイのアプリ（モデルのダウンロード・切り替え・設定）を備えています。
Intel の NPU（Core Ultra）向けは姉妹アプリの onw です。onwx は AMD Ryzen AI 専用で、 モデルも NPU 用プログラムも別物です（互いのモデルは使えません）。
インストール（コマンドを 1 行貼るだけ）
Windows
- スタートメニューで「PowerShell」と入力し、「Windows PowerShell」を開きます（管理者として開く必要はありません）。
- 次の 1 行をコピーして貼り付け、Enter を押します。
irm https://huggingface.co/ryugyosoft/onwx/resolve/main/install.ps1 | iex
onwx が %LOCALAPPDATA%\onwx にダウンロードされ、セットアップの黒い画面が開きます。Python が見つからない場合は
「Install Python 3.12 ... [Y,N]?」と聞かれるので Y を押してください。数分で終わり、タスクトレイ（画面右下）に
赤い onwx のアイコンが出て、モデルを選ぶウィンドウが開きます。
Ubuntu（試験的：エンジンは Ryzen AI Max+ 395 の Linux で動作確認済み、インストーラーは未検証）
curl -fsSL https://huggingface.co/ryugyosoft/onwx/resolve/main/install.sh | bash
貼り付ける前に中身を確認したい場合は、install.ps1／install.sh を開いて読めます。 新しい版が出るとトレイと onwx のウィンドウに通知が出て、ボタン 1 つで更新できます。
必要なもの
- XDNA2 NPU を搭載した AMD Ryzen AI の PC：Ryzen AI 300 シリーズ（Strix Point、例：Ryzen AI 9 HX 370）、 Ryzen AI Max シリーズ（Strix Halo、例：Ryzen AI Max+ 395）
- Windows 11 と AMD の NPU ドライバー（32.0.203 以降で確認。Windows Update か PC メーカーのドライバーで入ります）。 タスクマネージャーの「パフォーマンス」に NPU が出ていれば大丈夫です
- Ubuntu では NPU ドライバー（amdxdna）と XRT（Python バインディング pyxrt 付き）
- メモリ 16 GB 以上（Ternary Bonsai 2 27B で約 8.5 GB を使います）
- 空き容量：アプリ約 0.5 GB ＋ モデル 7.6 GB
- インターネット接続（最初のダウンロードのとき）
使い方
インストールが終わると開く onwx のウィンドウで、3 ステップです。
- 「モデル」タブで「ダウンロード」。
- 「サーバー」タブで「ロード」（数秒で終わります）。
- 「動作中」になったら、「チャット」でブラウザのチャット画面が開きます。他のアプリからは、base URL
http://127.0.0.1:8100/v1（「サーバー」タブに表示）の OpenAI 互換 API として使えます。
コマンドで使う場合：
onwx serve ryugyosoft/Ternary-Bonsai-2-27B-onwx # チャット画面と API（http://127.0.0.1:8100）
onwx chat ryugyosoft/Ternary-Bonsai-2-27B-onwx # 端末でチャット
モデル
| モデル | ダウンロード | メモリ | 生成速度 |
|---|---|---|---|
| Ternary Bonsai 2 27B（三値・2 ビット、Qwen3.8-27B ベース） | 7.6 GB | 約 8.5 GB ＋ 文脈 1k トークンあたり約 68 MB | 下表 |
| Qwen3.5 9B（int4、画像も読める） | 7.4 GB | 約 4.5 GB ＋ 文脈 1k トークンあたり約 30 MB | HX 370 で約 7〜7.8 tok/s（プロンプト約 70 tok/s） |
| Qwen3.5 4B（int4、画像も読める） | 4.8 GB | 約 3 GB ＋ 文脈 1k トークンあたり約 26 MB | HX 370 で約 9.5 tok/s（プロンプト約 80 tok/s） |
| llm-jp-4.1 8B thinking（int4、日本語に強い） | 5.8 GB | 約 4.3 GB ＋ 文脈 1k トークンあたり約 130 MB | HX 370 で約 7.4 tok/s（プロンプト約 70 tok/s） |
| プロンプトの読み込み | 文章の生成 | |
|---|---|---|
| Ryzen AI 9 HX 370（Windows） | 約 29〜30 tok/s | 約 4.0〜4.3 tok/s |
| Ryzen AI Max+ 395（Linux） | 約 36〜39 tok/s | 約 6.0 tok/s |
- プロンプトは 32 トークンずつまとめて NPU で読み込みます（行列計算は int8 の行列ユニット、DeltaNet は 8 トークンずつ）。
- 文脈は最大 262144 トークン（モデルの上限）です。既定は 3840 トークンで、設定で変えられます。
- 文脈が長いほど遅くなります。HX 370 では、4,400 トークンのプロンプトの読み込みが約 24 tok/s、その後の生成が約 3.9 tok/s、7 万トークンの位置での生成が約 1.7 tok/s です。
- 思考モード（考えてから答える）とツール呼び出しに対応しています。画像は Qwen3.5 9B / 4B で読めます（画像のエンコーダーは CPU で動きます）。
- 電力モードは標準のままの値です。Windows の AI 機能（Copilot+ の機能）が NPU を使っていると遅くなることがあります。
API
/v1/chat/completions（ストリーミング可）、/v1/models、/v1/messages（Anthropic 形式）、/v1/responses に対応しています。
思考モードは "chat_template_kwargs": {"enable_thinking": true} か "reasoning_effort" で切り替えます。
設定で LAN からの接続を許可すると、他の PC からも使えます（API キーの設定をおすすめします）。
ライセンス
onwx は Apache-2.0 です。モデルは元のモデルのライセンスに従います。