QEV-9B / README.ja.md
querypieai's picture
Display QueryPie research license as plain text in all model cards
ed14203 verified
|
Raw History Blame Contribute Delete
10.3 kB
# QEV-9B
推論専用配布 · LoRAマージ済み · BF16
**License: QueryPie AI Research License v1.0**
個人の非商用研究・実験、および非商用の学術研究・評価を許可します。商用利用にはQueryPieの事前の書面による許可、または別途の商用ライセンス契約が必要です。商用利用を希望する場合は[QueryPieにお問い合わせください](https://querypie.ai/contact-us)。企業業務・製品開発・商用目的のPoCは無料の研究許可の対象外です。第三者の基盤モデルには各原ライセンスが適用されます。
[English](README.md) · [한국어](README.ko.md) · [日本語](README.ja.md)
## モデル概要
QEV-9BはQwen3.5に基づくテキスト意思決定モデルです。マージ済みrank-16 LoRAとpointer headを使い、choice・noul・順序型scoreの選択肢確率をテキスト生成なしで返します。
Base: `Qwen/Qwen3.5-9B-Base` · revision: `68c46c4b3498877f3ef123c856ecfde50c39f404` · format: `BF16`
## 学習データ
プロジェクトの学習データは、公開データセットと社内DLPデータを用い、データ拡張を適用して構成しました。実際の学習・検証・calibration・テストデータは配布しません。 このチェックポイントには公開データによる汎用学習に加え、社内DLPデータによる追加適応が含まれます。
## 独立型パッケージ
LoRAをマージした全backbone、FP32 pointer head、tokenizer、calibration temperature、Transformers推論コードを含む推論専用配布です。別adapterや外部基盤モデルの取得は不要です。学習スクリプト・adapterファイル・optimizer状態・変換ツール・データセットは含みません。全重みの公開は追加学習を技術的に禁止するものではなく、利用には該当ライセンス条件が適用されます。
「推論専用」は同梱ファイルの構成を表し、追加学習を技術的に禁止するものではありません。LICENSEで許可された個人の非商用研究・実験および非商用学術研究・評価目的の変更・fine-tuningは可能です。商用・企業業務目的の利用やそのための評価・fine-tuningには事前の書面許可または別途の商用契約が必要です。
LoRAをマージしたBF16 backboneと変更のないFP32 pointer headを使用します。マージ時の丸め差はvalidation.jsonに記録します。
## 使用例
```bash
cd QEV-9B
pip install -r requirements.txt
python example.py --device cuda:0
```
```python
from transformers import AutoModel
model = AutoModel.from_pretrained(".", trust_remote_code=True,
device="cuda:0", local_files_only=True)
result = model.decide("This is a public product announcement.", {
"dlp": {"type": "noul", "instructions": "Does this contain personal contact information?",
"criteria": {"false": "No", "true": "Yes"}}
})
print(result)
```
全リポジトリをダウンロードしてから上記を実行してください。公開済みHubモデルを直接ロードする場合は"."をリポジトリIDに置き換え、local_files_only=Trueを省略します。AutoModelとdecide()を使用し、標準Transformers pipeline・Hub widget・ホスト型Inference Providersとの互換性は未検証です。
## マージ前BF16原本の参考評価
以下の成績表はマージ前BF16原チェックポイントの過去の評価であり、今回のマージ済み・INT8配布の新規実測ではありません。全benchmarkは再実行していません。マージ・量子化で確率や選択が変わる場合があります。validation.jsonはEN/KO/JAの合成9問と保存後再ロード検査のみを示します。
| Metric | Value |
|---|---|
| MMLU-ProX-Lite · 16,384 questions | 44.51% |
| Belebele · 24,622 questions | 73.28% |
| Typed-Decision · 540 questions / 270 states | 87.96% |
| Equal-panel mean accuracy | 68.58% |
| DLP accuracy · 3,167 documents | 98.52% |
| DLP recall · threshold 0.50 | 97.81% |
| DLP F2 · threshold 0.50 | 97.95% |
DLP FP/FN: 19/28. Stored checkpoint temperature: 1.255943.
繰り返し利用した過去の評価であり、新たな独立検証ではありません。公開ベンチマークの事前学習への混入は排除できず、KO・JA翻訳のネイティブ確認は実施していません。確率値は正解率の保証ではありません。
## 評価データの出典とQEV実験用の加工
掲載値は原ベンチマーク全体を未加工のまま実行した公式スコアではなく、QEV/KEV/JEVで共通処理できるtyped-decision形式へ変換した社内比較結果です。評価データの出典は学習コーパスの説明と区別します。原データ・加工データは本リポジトリに含めません。
- **MMLU-ProX-Lite**: [li-lab/MMLU-ProX-Lite](https://huggingface.co/datasets/li-lab/MMLU-ProX-Lite)、MIT。問題をstate、選択肢をchoice criteriaへ変換し、cot_content解説は入力から除外、空欄/N/A選択肢も除外しました。元の問題・正解・選択肢順を保持して検証しています。共通29言語の17,052問から、長さ条件を満たす固定比較集合の**16,384問**を使用しました。
- **Belebele**: [facebook/belebele](https://huggingface.co/datasets/facebook/belebele)、CC BY-SA 4.0。flores_passageをstate、問題をinstructions、4回答をchoice criteriaに変換し、correct_answer_numを正解に対応付けました。共通29言語の26,100問から同じ比較条件の**24,622問**を使用しました。加工データは社内評価用で、原文・加工版は外部再配布しません。
- **非公開Typed-Decision**: QueryPieプロジェクトのprivate-general-v1。規則・数字/日付・ツール選択・情報不足・順序/等級・日常推論をテンプレートで生成し、コード/規則solverで正解を作成しました。英語をKO/JAテンプレートへ翻訳し、正解・選択肢キー・数値を保持して自動整合性確認を実施しました。ネイティブ確認はありません。同一q1/q2の状態全体を除外し、450状態/900問から**270状態/540問**(各言語180問)を評価しました。
- **DLP**: QueryPie社内多言語テストセット**3,167文書**(EN 1,065 / JA 1,038 / KO 1,064)。原文・ID・正解を維持し、文書をstate、機密情報有無をnoul true/falseへ変換しました。正解findingsが1件以上あれば陽性とし、位置・件数・種類の完全抽出は評価しません。陽性1,281/陰性1,886、threshold **0.50**です。社内原文・ラベルは非公開です。
MMLU/Belebeleはstate 384 / 質問行1,024 / packed 2,048の条件を満たす固定item-ID集合を用い、切り捨てません。汎用総合値は3パネルの問題単位Accuracyを等加重平均します。記録した出典revisionと加工版SHA-256は[EVALUATION_DATA_SOURCES.json](EVALUATION_DATA_SOURCES.json)に記載し、原データのライセンスはQueryPieモデルライセンスへ変更しません。
## 上限と利用範囲
既定のstate検査はlen(encoded_state) + 1 ≤ 2,048のため、ユーザー本文自体は該当tokenizerで最大2,047トークンです。本文・質問・選択肢・構造/テンプレートトークンを含む質問ごとの全rowは最大2,688トークン、全row長の合計は最大10,752トークンです。繰り返す本文もrowごとに加算します。質問1–4個、各質問の選択肢2–10個に対応し、上限超過は切り捨てず拒否します。トークン数はモデルのtokenizerに依存します。過去の品質評価はstate 384 / row 1,024 / packed 2,048であり、現在の高い入力上限での品質を示すものではありません。
汎用typed-decisionと文書単位のDLP分類に対応します。DLPでは機密情報の有無を判定し、findingの位置・件数・種類は抽出しません。choiceは名前付き選択肢、noulはfalse/true criteriaとtrueの確率、scoreは順序付きリストを使用します。scoreは連続値ではなく0始まりの選択indexと各indexの確率を返します。confidenceは選択肢の最大確率であり実測正解率ではありません。テキストは生成せず、任意領域での信頼性は保証しません。
検証機材はNVIDIA H200/CUDAです。CPU・他runtimeの性能は未検証です。専用コードの実行にはtrust_remote_code=Trueが必要です。
## ライセンスと出典
QueryPieが学習した修正分(マージ済みLoRAを含む)・pointer head・専用コードにはQueryPie AI Research License v1.0を適用します。元のQwen/Gemma基盤重み・tokenizerはApache-2.0を維持し、原ライセンスで既に付与された権利を制限しません。[THIRD_PARTY_LICENSES.md](THIRD_PARTY_LICENSES.md)、[LICENSES/Apache-2.0.txt](LICENSES/Apache-2.0.txt)、NOTICEで適用範囲と出典を確認できます。学習データ自体は再ライセンス・配布しません。
個人の非商用研究・実験、および非商用の学術研究・評価を許可します。商用利用にはQueryPieの事前の書面による許可、または別途の商用ライセンス契約が必要です。商用利用を希望する場合は[QueryPieにお問い合わせください](https://querypie.ai/contact-us)。企業業務・製品開発・商用目的のPoCは無料の研究許可の対象外です。第三者の基盤モデルには各原ライセンスが適用されます。
内部資産の欠落を防ぐためgeneric save_pretrained()は無効化しています。リポジトリ全体をコピーまたはダウンロードしてください。検証記録はvalidation.jsonとMANIFEST.sha256です。
## 配布検証
| 比較 | 最大確率差 | 選択の変更 / 9問 |
|---|---:|---:|
| 原BF16 → マージBF16 | 0.00107431 | 0 |
| 保存モデル → 再ロードモデル | 0.00000000 | 0 |
[validation.json](validation.json) · [MANIFEST.sha256](MANIFEST.sha256)