QEV-9B / README.ja.md
querypieai's picture
Display QueryPie research license as plain text in all model cards
ed14203 verified
|
Raw History Blame Contribute Delete
10.3 kB

QEV-9B

推論専用配布 · LoRAマージ済み · BF16

License: QueryPie AI Research License v1.0

個人の非商用研究・実験、および非商用の学術研究・評価を許可します。商用利用にはQueryPieの事前の書面による許可、または別途の商用ライセンス契約が必要です。商用利用を希望する場合はQueryPieにお問い合わせください。企業業務・製品開発・商用目的のPoCは無料の研究許可の対象外です。第三者の基盤モデルには各原ライセンスが適用されます。

English · 한국어 · 日本語

モデル概要

QEV-9BはQwen3.5に基づくテキスト意思決定モデルです。マージ済みrank-16 LoRAとpointer headを使い、choice・noul・順序型scoreの選択肢確率をテキスト生成なしで返します。

Base: Qwen/Qwen3.5-9B-Base · revision: 68c46c4b3498877f3ef123c856ecfde50c39f404 · format: BF16

学習データ

プロジェクトの学習データは、公開データセットと社内DLPデータを用い、データ拡張を適用して構成しました。実際の学習・検証・calibration・テストデータは配布しません。 このチェックポイントには公開データによる汎用学習に加え、社内DLPデータによる追加適応が含まれます。

独立型パッケージ

LoRAをマージした全backbone、FP32 pointer head、tokenizer、calibration temperature、Transformers推論コードを含む推論専用配布です。別adapterや外部基盤モデルの取得は不要です。学習スクリプト・adapterファイル・optimizer状態・変換ツール・データセットは含みません。全重みの公開は追加学習を技術的に禁止するものではなく、利用には該当ライセンス条件が適用されます。

「推論専用」は同梱ファイルの構成を表し、追加学習を技術的に禁止するものではありません。LICENSEで許可された個人の非商用研究・実験および非商用学術研究・評価目的の変更・fine-tuningは可能です。商用・企業業務目的の利用やそのための評価・fine-tuningには事前の書面許可または別途の商用契約が必要です。

LoRAをマージしたBF16 backboneと変更のないFP32 pointer headを使用します。マージ時の丸め差はvalidation.jsonに記録します。

使用例

cd QEV-9B
pip install -r requirements.txt
python example.py --device cuda:0
from transformers import AutoModel
model = AutoModel.from_pretrained(".", trust_remote_code=True,
                                  device="cuda:0", local_files_only=True)
result = model.decide("This is a public product announcement.", {
    "dlp": {"type": "noul", "instructions": "Does this contain personal contact information?",
            "criteria": {"false": "No", "true": "Yes"}}
})
print(result)

全リポジトリをダウンロードしてから上記を実行してください。公開済みHubモデルを直接ロードする場合は"."をリポジトリIDに置き換え、local_files_only=Trueを省略します。AutoModelとdecide()を使用し、標準Transformers pipeline・Hub widget・ホスト型Inference Providersとの互換性は未検証です。

マージ前BF16原本の参考評価

以下の成績表はマージ前BF16原チェックポイントの過去の評価であり、今回のマージ済み・INT8配布の新規実測ではありません。全benchmarkは再実行していません。マージ・量子化で確率や選択が変わる場合があります。validation.jsonはEN/KO/JAの合成9問と保存後再ロード検査のみを示します。

Metric Value
MMLU-ProX-Lite · 16,384 questions 44.51%
Belebele · 24,622 questions 73.28%
Typed-Decision · 540 questions / 270 states 87.96%
Equal-panel mean accuracy 68.58%
DLP accuracy · 3,167 documents 98.52%
DLP recall · threshold 0.50 97.81%
DLP F2 · threshold 0.50 97.95%

DLP FP/FN: 19/28. Stored checkpoint temperature: 1.255943. 繰り返し利用した過去の評価であり、新たな独立検証ではありません。公開ベンチマークの事前学習への混入は排除できず、KO・JA翻訳のネイティブ確認は実施していません。確率値は正解率の保証ではありません。

評価データの出典とQEV実験用の加工

掲載値は原ベンチマーク全体を未加工のまま実行した公式スコアではなく、QEV/KEV/JEVで共通処理できるtyped-decision形式へ変換した社内比較結果です。評価データの出典は学習コーパスの説明と区別します。原データ・加工データは本リポジトリに含めません。

  • MMLU-ProX-Lite: li-lab/MMLU-ProX-Lite、MIT。問題をstate、選択肢をchoice criteriaへ変換し、cot_content解説は入力から除外、空欄/N/A選択肢も除外しました。元の問題・正解・選択肢順を保持して検証しています。共通29言語の17,052問から、長さ条件を満たす固定比較集合の16,384問を使用しました。
  • Belebele: facebook/belebele、CC BY-SA 4.0。flores_passageをstate、問題をinstructions、4回答をchoice criteriaに変換し、correct_answer_numを正解に対応付けました。共通29言語の26,100問から同じ比較条件の24,622問を使用しました。加工データは社内評価用で、原文・加工版は外部再配布しません。
  • 非公開Typed-Decision: QueryPieプロジェクトのprivate-general-v1。規則・数字/日付・ツール選択・情報不足・順序/等級・日常推論をテンプレートで生成し、コード/規則solverで正解を作成しました。英語をKO/JAテンプレートへ翻訳し、正解・選択肢キー・数値を保持して自動整合性確認を実施しました。ネイティブ確認はありません。同一q1/q2の状態全体を除外し、450状態/900問から270状態/540問(各言語180問)を評価しました。
  • DLP: QueryPie社内多言語テストセット3,167文書(EN 1,065 / JA 1,038 / KO 1,064)。原文・ID・正解を維持し、文書をstate、機密情報有無をnoul true/falseへ変換しました。正解findingsが1件以上あれば陽性とし、位置・件数・種類の完全抽出は評価しません。陽性1,281/陰性1,886、threshold 0.50です。社内原文・ラベルは非公開です。 MMLU/Belebeleはstate 384 / 質問行1,024 / packed 2,048の条件を満たす固定item-ID集合を用い、切り捨てません。汎用総合値は3パネルの問題単位Accuracyを等加重平均します。記録した出典revisionと加工版SHA-256はEVALUATION_DATA_SOURCES.jsonに記載し、原データのライセンスはQueryPieモデルライセンスへ変更しません。

上限と利用範囲

既定のstate検査はlen(encoded_state) + 1 ≤ 2,048のため、ユーザー本文自体は該当tokenizerで最大2,047トークンです。本文・質問・選択肢・構造/テンプレートトークンを含む質問ごとの全rowは最大2,688トークン、全row長の合計は最大10,752トークンです。繰り返す本文もrowごとに加算します。質問1–4個、各質問の選択肢2–10個に対応し、上限超過は切り捨てず拒否します。トークン数はモデルのtokenizerに依存します。過去の品質評価はstate 384 / row 1,024 / packed 2,048であり、現在の高い入力上限での品質を示すものではありません。

汎用typed-decisionと文書単位のDLP分類に対応します。DLPでは機密情報の有無を判定し、findingの位置・件数・種類は抽出しません。choiceは名前付き選択肢、noulはfalse/true criteriaとtrueの確率、scoreは順序付きリストを使用します。scoreは連続値ではなく0始まりの選択indexと各indexの確率を返します。confidenceは選択肢の最大確率であり実測正解率ではありません。テキストは生成せず、任意領域での信頼性は保証しません。

検証機材はNVIDIA H200/CUDAです。CPU・他runtimeの性能は未検証です。専用コードの実行にはtrust_remote_code=Trueが必要です。

ライセンスと出典

QueryPieが学習した修正分(マージ済みLoRAを含む)・pointer head・専用コードにはQueryPie AI Research License v1.0を適用します。元のQwen/Gemma基盤重み・tokenizerはApache-2.0を維持し、原ライセンスで既に付与された権利を制限しません。THIRD_PARTY_LICENSES.md、LICENSES/Apache-2.0.txt、NOTICEで適用範囲と出典を確認できます。学習データ自体は再ライセンス・配布しません。 個人の非商用研究・実験、および非商用の学術研究・評価を許可します。商用利用にはQueryPieの事前の書面による許可、または別途の商用ライセンス契約が必要です。商用利用を希望する場合はQueryPieにお問い合わせください。企業業務・製品開発・商用目的のPoCは無料の研究許可の対象外です。第三者の基盤モデルには各原ライセンスが適用されます。 内部資産の欠落を防ぐためgeneric save_pretrained()は無効化しています。リポジトリ全体をコピーまたはダウンロードしてください。検証記録はvalidation.jsonとMANIFEST.sha256です。

配布検証

比較 最大確率差 選択の変更 / 9問
原BF16 → マージBF16 0.00107431 0
保存モデル → 再ロードモデル 0.00000000 0

validation.json · MANIFEST.sha256