# QEV-9B 추론 전용 배포 · LoRA 병합 · BF16 **License: QueryPie AI Research License v1.0** 개인의 비상업적 연구·실험 및 비상업적 학술 연구·평가를 허용합니다. 상업적 이용에는 QueryPie의 사전 서면 허가 또는 별도의 상업용 라이선스 계약이 필요합니다. 상업적 이용을 희망하는 경우 [QueryPie에 문의해 주세요](https://www.querypie.com/ko/contact-us). 기업 업무·제품 개발·상업 목적 PoC는 무료 연구 허용 범위에 포함되지 않습니다. 포함된 제3자 기반 모델에는 각 원천 라이선스가 적용됩니다. [English](README.md) · [한국어](README.ko.md) · [日本語](README.ja.md) ## 모델 소개 QEV-9B는 Qwen3.5 기반의 텍스트 의사결정 모델입니다. 병합된 rank-16 LoRA와 pointer head를 사용하며 choice·noul·순서형 score 질문에 텍스트 생성 없이 선택지 확률을 반환합니다. Base: `Qwen/Qwen3.5-9B-Base` · revision: `68c46c4b3498877f3ef123c856ecfde50c39f404` · format: `BF16` ## 학습데이터 프로젝트 학습데이터는 Public 공개데이터와 사내 DLP 데이터를 사용하고 데이터 증강을 적용해 구성했습니다. 실제 학습·검증·calibration·테스트 데이터는 배포하지 않습니다. 이 체크포인트는 공개 데이터 기반 범용 학습 후 사내 DLP 데이터를 활용한 도메인 추가 학습을 포함합니다. ## 독립형 패키지 전체 LoRA 병합 backbone, FP32 pointer head, tokenizer, calibration temperature와 Transformers 추론 코드를 포함하는 추론 전용 배포입니다. 별도 adapter나 외부 기반 모델 다운로드가 필요하지 않습니다. 학습 스크립트·adapter 파일·optimizer 상태·양자화 도구·데이터셋은 배포하지 않습니다. 전체 가중치 공개 자체가 추가 학습을 기술적으로 차단하지는 않으며, 사용에는 해당 라이선스 조건이 적용됩니다. ‘추론 전용’은 제공 파일의 구성을 뜻하며 추가 학습을 기술적으로 차단한다는 의미가 아닙니다. LICENSE가 허용하는 개인 비상업 연구·실험과 비상업 학술 연구·평가 목적의 수정·파인튜닝은 가능합니다. 상업·기업 업무 목적의 사용과 그 목적의 평가·파인튜닝에는 사전 서면 허가 또는 별도 상업 계약이 필요합니다. LoRA를 병합한 BF16 backbone과 변경하지 않은 FP32 pointer head를 사용합니다. 병합에 따른 반올림 차이는 validation.json에 기록합니다. ## 사용 예시 ```bash cd QEV-9B pip install -r requirements.txt python example.py --device cuda:0 ``` ```python from transformers import AutoModel model = AutoModel.from_pretrained(".", trust_remote_code=True, device="cuda:0", local_files_only=True) result = model.decide("This is a public product announcement.", { "dlp": {"type": "noul", "instructions": "Does this contain personal contact information?", "criteria": {"false": "No", "true": "Yes"}} }) print(result) ``` 전체 저장소를 다운로드한 뒤 위 명령을 실행하세요. 공개된 Hub 모델을 직접 로드할 때는 "."을 해당 저장소 ID로 바꾸고 local_files_only=True를 생략합니다. AutoModel과 decide()를 사용하며, 일반 Transformers pipeline·Hub 위젯·호스팅 Inference Providers와의 호환성은 검증하지 않았습니다. ## 병합 전 BF16 원본의 참고 성능 아래 성능표는 병합 전 BF16 원본 체크포인트의 역사적 평가 결과이며, 이번 병합·INT8 공개 패키지의 신규 실측 성능이 아닙니다. 전체 벤치마크는 재실행하지 않았습니다. 병합·양자화로 확률이나 선택 결과가 바뀔 수 있습니다. validation.json은 한·영·일 합성 9문항과 저장 후 재로딩 검사 결과만 기록합니다. | Metric | Value | |---|---| | MMLU-ProX-Lite · 16,384 questions | 44.51% | | Belebele · 24,622 questions | 73.28% | | Typed-Decision · 540 questions / 270 states | 87.96% | | Equal-panel mean accuracy | 68.58% | | DLP accuracy · 3,167 documents | 98.52% | | DLP recall · threshold 0.50 | 97.81% | | DLP F2 · threshold 0.50 | 97.95% | DLP FP/FN: 19/28. Stored checkpoint temperature: 1.255943. 반복 사용된 역사적 평가이며 새로운 독립 확인 평가가 아닙니다. 공개 벤치마크의 사전학습 오염 가능성을 배제할 수 없고 KO·JA 번역은 원어민 검수를 하지 않았습니다. 확률값은 정답률 보증이 아닙니다. ## 평가 데이터 출처와 QEV 실험용 가공 아래 수치는 원천 벤치마크 전체를 그대로 실행한 공식 점수가 아니라, 원천 데이터를 QEV/KEV/JEV가 공통으로 처리할 수 있는 typed-decision 입력으로 가공한 사내 비교 평가 결과입니다. 학습데이터 구성 설명과 평가셋 출처는 구분합니다. 실제 원천·가공 데이터는 이 저장소에 포함하지 않습니다. - **MMLU-ProX-Lite**: [li-lab/MMLU-ProX-Lite](https://huggingface.co/datasets/li-lab/MMLU-ProX-Lite), MIT. 질문을 state, 정답 선택을 choice로 변환하고 cot_content 해설을 입력에서 제외했으며 공란·N/A 선택지를 제외했습니다. 원문 문제·정답과 선택지 순서를 유지하고 유효성을 확인했습니다. 공통 29개 언어의 원천 17,052문항에서 길이 제한을 통과한 고정 비교 교집합 **16,384문항**을 사용했습니다. - **Belebele**: [facebook/belebele](https://huggingface.co/datasets/facebook/belebele), CC BY-SA 4.0. flores_passage를 state, 원래 질문을 instructions, 네 선택지를 choice criteria로 변환하고 correct_answer_num을 정답 선택지에 연결했습니다. 공통 29개 언어의 원천 26,100문항 중 같은 고정 비교 조건의 **24,622문항**을 사용했습니다. 가공본은 사내 평가용이며 원문·가공본을 외부 재배포하지 않습니다. - **비공개 Typed-Decision**: QueryPie 프로젝트의 private-general-v1. 정책·규칙, 숫자·날짜, 도구 라우팅, 정보 부족, 순서·등급, 일상 추론을 템플릿으로 생성하고 코드·규칙 solver로 정답을 만들었습니다. 영어를 한국어·일본어 템플릿으로 번역하면서 정답·선택지 key·숫자를 유지하고 자동 정합성을 검사했습니다. 원어민 검수는 수행하지 않았습니다. 원천 450개 상태·900문항에서 q1/q2 유형·질문·선택지가 동일한 상태 전체를 제외해 **270개 상태·540문항**(언어별 180문항)을 평가했습니다. - **DLP**: QueryPie 사내 다국어 DLP 테스트셋 **3,167건**(EN 1,065 / JA 1,038 / KO 1,064). 원문·ID·정답을 유지하고 문서를 state로, 민감정보 유무를 noul true/false 질문으로 변환했습니다. 정답 findings가 하나 이상이면 양성으로 정의하며 위치·개수·유형의 완전 추출은 평가하지 않습니다. 양성 1,281 / 정상 1,886건이며 threshold **0.50**을 적용했습니다. 사내 문서 원문과 라벨은 비공개입니다. MMLU·Belebele은 state 384 / 질문별 row 1,024 / packed 2,048의 길이 조건을 통과한 고정 item-ID 교집합으로 비교하고 자동 절단하지 않았습니다. 범용 종합은 MMLU·Belebele·Typed-Decision의 문항 단위 정확도를 동일 가중 평균합니다. 공개 데이터의 기록된 revision과 가공본 SHA-256은 [EVALUATION_DATA_SOURCES.json](EVALUATION_DATA_SOURCES.json)에 보존하며 원천 데이터의 라이선스는 QueryPie 모델 라이선스로 변경되지 않습니다. ## 입력 상한과 사용 범위 기본 state 검사는 len(encoded_state) + 1 ≤ 2,048이므로 사용자 본문 자체는 해당 tokenizer 기준 최대 2,047토큰입니다. 본문·질문·선택지·구조/템플릿 토큰을 포함한 질문별 전체 row는 최대 2,688토큰이며, 모든 row 길이의 합계는 최대 10,752토큰입니다. 반복되는 본문도 row마다 합산합니다. 질문 1~4개, 질문별 선택지 2~10개를 지원하며 초과 입력은 절단 없이 거부합니다. 토큰 수는 모델별 tokenizer에 따라 달라집니다. 기존 품질 평가는 state 384 / row 1,024 / packed 2,048 조건이며, 현재의 더 높은 입력 상한에서의 품질을 입증한 결과가 아닙니다. 범용 typed-decision과 문서 단위 DLP 분류를 지원합니다. DLP에서는 민감정보 유무를 판단하며 finding 위치·개수·유형을 추출하지 않습니다. choice는 이름 있는 선택지, noul은 false/true criteria와 true 확률, score는 순서가 있는 목록을 사용합니다. score는 연속형 점수 대신 0부터 시작하는 선택 인덱스와 각 인덱스의 확률을 반환합니다. confidence는 최대 선택지 확률이며 실측 정답률이 아닙니다. 텍스트를 생성하지 않으며 임의 도메인에서의 신뢰도를 보장하지 않습니다. 검증 장비는 NVIDIA H200/CUDA입니다. CPU·다른 런타임의 성능은 검증하지 않았습니다. 전용 코드 실행에는 trust_remote_code=True가 필요합니다. ## 라이선스와 원천 표시 QueryPie의 학습된 수정분(병합 LoRA 포함)·pointer head·전용 코드에는 QueryPie AI Research License v1.0을 적용합니다. 원래 Qwen/Gemma 기반 가중치·tokenizer에는 Apache-2.0을 유지하며, 그 원천 라이선스로 이미 부여된 권리는 제한하지 않습니다. 구성 요소별 범위는 [THIRD_PARTY_LICENSES.md](THIRD_PARTY_LICENSES.md), 원문은 [LICENSES/Apache-2.0.txt](LICENSES/Apache-2.0.txt), 원천 표시는 NOTICE를 참조하세요. 학습데이터 자체를 재라이선스하거나 배포하지 않습니다. 개인의 비상업적 연구·실험 및 비상업적 학술 연구·평가를 허용합니다. 상업적 이용에는 QueryPie의 사전 서면 허가 또는 별도의 상업용 라이선스 계약이 필요합니다. 상업적 이용을 희망하는 경우 [QueryPie에 문의해 주세요](https://www.querypie.com/ko/contact-us). 기업 업무·제품 개발·상업 목적 PoC는 무료 연구 허용 범위에 포함되지 않습니다. 포함된 제3자 기반 모델에는 각 원천 라이선스가 적용됩니다. 내부 자산 누락을 막기 위해 generic save_pretrained()는 비활성화했습니다. 저장소 전체를 복사하거나 다운로드하세요. 패키지 검증은 validation.json과 MANIFEST.sha256에 기록됩니다. ## 배포 검증 | 비교 | 최대 확률 차이 | 선택 결과 변화 / 9문항 | |---|---:|---:| | 원본 BF16 → 병합 BF16 | 0.00107431 | 0 | | 저장된 모델 → 재로딩 모델 | 0.00000000 | 0 | [validation.json](validation.json) · [MANIFEST.sha256](MANIFEST.sha256)