Text Classification
Transformers
Safetensors
English
Korean
Japanese
qev_decision_merged
feature-extraction
qev
typed-decision
custom-code
bf16
custom_code
Instructions to use querypieai/QEV-9B with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use querypieai/QEV-9B with Transformers:
# Use a pipeline as a high-level helper from transformers import pipeline pipe = pipeline("text-classification", model="querypieai/QEV-9B", trust_remote_code=True)# pip install -U transformers accelerate # Load model directly from transformers import AutoModel model = AutoModel.from_pretrained("querypieai/QEV-9B", trust_remote_code=True, device_map="auto") - Notebooks
- Google Colab
- Kaggle
|
Download README.ja.md from querypieai/QEV-9B: direct link, hf CLI and curl.
- Browser
- Download file 10.3 kB
-
https://huggingface.co/querypieai/QEV-9B/resolve/main/README.ja.md
- Command line
-
hf download hf://querypieai/QEV-9B/README.ja.md
-
curl -L -o README.ja.md https://huggingface.co/querypieai/QEV-9B/resolve/main/README.ja.md
10.3 kB
| # QEV-9B | |
| 推論専用配布 · LoRAマージ済み · BF16 | |
| **License: QueryPie AI Research License v1.0** | |
| 個人の非商用研究・実験、および非商用の学術研究・評価を許可します。商用利用にはQueryPieの事前の書面による許可、または別途の商用ライセンス契約が必要です。商用利用を希望する場合は[QueryPieにお問い合わせください](https://querypie.ai/contact-us)。企業業務・製品開発・商用目的のPoCは無料の研究許可の対象外です。第三者の基盤モデルには各原ライセンスが適用されます。 | |
| [English](README.md) · [한국어](README.ko.md) · [日本語](README.ja.md) | |
| ## モデル概要 | |
| QEV-9BはQwen3.5に基づくテキスト意思決定モデルです。マージ済みrank-16 LoRAとpointer headを使い、choice・noul・順序型scoreの選択肢確率をテキスト生成なしで返します。 | |
| Base: `Qwen/Qwen3.5-9B-Base` · revision: `68c46c4b3498877f3ef123c856ecfde50c39f404` · format: `BF16` | |
| ## 学習データ | |
| プロジェクトの学習データは、公開データセットと社内DLPデータを用い、データ拡張を適用して構成しました。実際の学習・検証・calibration・テストデータは配布しません。 このチェックポイントには公開データによる汎用学習に加え、社内DLPデータによる追加適応が含まれます。 | |
| ## 独立型パッケージ | |
| LoRAをマージした全backbone、FP32 pointer head、tokenizer、calibration temperature、Transformers推論コードを含む推論専用配布です。別adapterや外部基盤モデルの取得は不要です。学習スクリプト・adapterファイル・optimizer状態・変換ツール・データセットは含みません。全重みの公開は追加学習を技術的に禁止するものではなく、利用には該当ライセンス条件が適用されます。 | |
| 「推論専用」は同梱ファイルの構成を表し、追加学習を技術的に禁止するものではありません。LICENSEで許可された個人の非商用研究・実験および非商用学術研究・評価目的の変更・fine-tuningは可能です。商用・企業業務目的の利用やそのための評価・fine-tuningには事前の書面許可または別途の商用契約が必要です。 | |
| LoRAをマージしたBF16 backboneと変更のないFP32 pointer headを使用します。マージ時の丸め差はvalidation.jsonに記録します。 | |
| ## 使用例 | |
| ```bash | |
| cd QEV-9B | |
| pip install -r requirements.txt | |
| python example.py --device cuda:0 | |
| ``` | |
| ```python | |
| from transformers import AutoModel | |
| model = AutoModel.from_pretrained(".", trust_remote_code=True, | |
| device="cuda:0", local_files_only=True) | |
| result = model.decide("This is a public product announcement.", { | |
| "dlp": {"type": "noul", "instructions": "Does this contain personal contact information?", | |
| "criteria": {"false": "No", "true": "Yes"}} | |
| }) | |
| print(result) | |
| ``` | |
| 全リポジトリをダウンロードしてから上記を実行してください。公開済みHubモデルを直接ロードする場合は"."をリポジトリIDに置き換え、local_files_only=Trueを省略します。AutoModelとdecide()を使用し、標準Transformers pipeline・Hub widget・ホスト型Inference Providersとの互換性は未検証です。 | |
| ## マージ前BF16原本の参考評価 | |
| 以下の成績表はマージ前BF16原チェックポイントの過去の評価であり、今回のマージ済み・INT8配布の新規実測ではありません。全benchmarkは再実行していません。マージ・量子化で確率や選択が変わる場合があります。validation.jsonはEN/KO/JAの合成9問と保存後再ロード検査のみを示します。 | |
| | Metric | Value | | |
| |---|---| | |
| | MMLU-ProX-Lite · 16,384 questions | 44.51% | | |
| | Belebele · 24,622 questions | 73.28% | | |
| | Typed-Decision · 540 questions / 270 states | 87.96% | | |
| | Equal-panel mean accuracy | 68.58% | | |
| | DLP accuracy · 3,167 documents | 98.52% | | |
| | DLP recall · threshold 0.50 | 97.81% | | |
| | DLP F2 · threshold 0.50 | 97.95% | | |
| DLP FP/FN: 19/28. Stored checkpoint temperature: 1.255943. | |
| 繰り返し利用した過去の評価であり、新たな独立検証ではありません。公開ベンチマークの事前学習への混入は排除できず、KO・JA翻訳のネイティブ確認は実施していません。確率値は正解率の保証ではありません。 | |
| ## 評価データの出典とQEV実験用の加工 | |
| 掲載値は原ベンチマーク全体を未加工のまま実行した公式スコアではなく、QEV/KEV/JEVで共通処理できるtyped-decision形式へ変換した社内比較結果です。評価データの出典は学習コーパスの説明と区別します。原データ・加工データは本リポジトリに含めません。 | |
| - **MMLU-ProX-Lite**: [li-lab/MMLU-ProX-Lite](https://huggingface.co/datasets/li-lab/MMLU-ProX-Lite)、MIT。問題をstate、選択肢をchoice criteriaへ変換し、cot_content解説は入力から除外、空欄/N/A選択肢も除外しました。元の問題・正解・選択肢順を保持して検証しています。共通29言語の17,052問から、長さ条件を満たす固定比較集合の**16,384問**を使用しました。 | |
| - **Belebele**: [facebook/belebele](https://huggingface.co/datasets/facebook/belebele)、CC BY-SA 4.0。flores_passageをstate、問題をinstructions、4回答をchoice criteriaに変換し、correct_answer_numを正解に対応付けました。共通29言語の26,100問から同じ比較条件の**24,622問**を使用しました。加工データは社内評価用で、原文・加工版は外部再配布しません。 | |
| - **非公開Typed-Decision**: QueryPieプロジェクトのprivate-general-v1。規則・数字/日付・ツール選択・情報不足・順序/等級・日常推論をテンプレートで生成し、コード/規則solverで正解を作成しました。英語をKO/JAテンプレートへ翻訳し、正解・選択肢キー・数値を保持して自動整合性確認を実施しました。ネイティブ確認はありません。同一q1/q2の状態全体を除外し、450状態/900問から**270状態/540問**(各言語180問)を評価しました。 | |
| - **DLP**: QueryPie社内多言語テストセット**3,167文書**(EN 1,065 / JA 1,038 / KO 1,064)。原文・ID・正解を維持し、文書をstate、機密情報有無をnoul true/falseへ変換しました。正解findingsが1件以上あれば陽性とし、位置・件数・種類の完全抽出は評価しません。陽性1,281/陰性1,886、threshold **0.50**です。社内原文・ラベルは非公開です。 | |
| MMLU/Belebeleはstate 384 / 質問行1,024 / packed 2,048の条件を満たす固定item-ID集合を用い、切り捨てません。汎用総合値は3パネルの問題単位Accuracyを等加重平均します。記録した出典revisionと加工版SHA-256は[EVALUATION_DATA_SOURCES.json](EVALUATION_DATA_SOURCES.json)に記載し、原データのライセンスはQueryPieモデルライセンスへ変更しません。 | |
| ## 上限と利用範囲 | |
| 既定のstate検査はlen(encoded_state) + 1 ≤ 2,048のため、ユーザー本文自体は該当tokenizerで最大2,047トークンです。本文・質問・選択肢・構造/テンプレートトークンを含む質問ごとの全rowは最大2,688トークン、全row長の合計は最大10,752トークンです。繰り返す本文もrowごとに加算します。質問1–4個、各質問の選択肢2–10個に対応し、上限超過は切り捨てず拒否します。トークン数はモデルのtokenizerに依存します。過去の品質評価はstate 384 / row 1,024 / packed 2,048であり、現在の高い入力上限での品質を示すものではありません。 | |
| 汎用typed-decisionと文書単位のDLP分類に対応します。DLPでは機密情報の有無を判定し、findingの位置・件数・種類は抽出しません。choiceは名前付き選択肢、noulはfalse/true criteriaとtrueの確率、scoreは順序付きリストを使用します。scoreは連続値ではなく0始まりの選択indexと各indexの確率を返します。confidenceは選択肢の最大確率であり実測正解率ではありません。テキストは生成せず、任意領域での信頼性は保証しません。 | |
| 検証機材はNVIDIA H200/CUDAです。CPU・他runtimeの性能は未検証です。専用コードの実行にはtrust_remote_code=Trueが必要です。 | |
| ## ライセンスと出典 | |
| QueryPieが学習した修正分(マージ済みLoRAを含む)・pointer head・専用コードにはQueryPie AI Research License v1.0を適用します。元のQwen/Gemma基盤重み・tokenizerはApache-2.0を維持し、原ライセンスで既に付与された権利を制限しません。[THIRD_PARTY_LICENSES.md](THIRD_PARTY_LICENSES.md)、[LICENSES/Apache-2.0.txt](LICENSES/Apache-2.0.txt)、NOTICEで適用範囲と出典を確認できます。学習データ自体は再ライセンス・配布しません。 | |
| 個人の非商用研究・実験、および非商用の学術研究・評価を許可します。商用利用にはQueryPieの事前の書面による許可、または別途の商用ライセンス契約が必要です。商用利用を希望する場合は[QueryPieにお問い合わせください](https://querypie.ai/contact-us)。企業業務・製品開発・商用目的のPoCは無料の研究許可の対象外です。第三者の基盤モデルには各原ライセンスが適用されます。 | |
| 内部資産の欠落を防ぐためgeneric save_pretrained()は無効化しています。リポジトリ全体をコピーまたはダウンロードしてください。検証記録はvalidation.jsonとMANIFEST.sha256です。 | |
| ## 配布検証 | |
| | 比較 | 最大確率差 | 選択の変更 / 9問 | | |
| |---|---:|---:| | |
| | 原BF16 → マージBF16 | 0.00107431 | 0 | | |
| | 保存モデル → 再ロードモデル | 0.00000000 | 0 | | |
| [validation.json](validation.json) · [MANIFEST.sha256](MANIFEST.sha256) | |