Instructions to use nowdoor/Qwen3.8-27B-Inspect-v01 with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use nowdoor/Qwen3.8-27B-Inspect-v01 with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("image-text-to-text", model="nowdoor/Qwen3.8-27B-Inspect-v01")
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/p-blog/candy.JPG"},
            {"type": "text", "text": "What animal is on the candy?"}
        ]
    },
]
pipe(text=messages)

# pip install -U transformers accelerate
# Load model directly
from transformers import AutoProcessor, AutoModelForMultimodalLM

processor = AutoProcessor.from_pretrained("nowdoor/Qwen3.8-27B-Inspect-v01")
model = AutoModelForMultimodalLM.from_pretrained("nowdoor/Qwen3.8-27B-Inspect-v01", device_map="auto")
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/p-blog/candy.JPG"},
            {"type": "text", "text": "What animal is on the candy?"}
        ]
    },
]
inputs = processor.apply_chat_template(
	messages,
	add_generation_prompt=True,
	tokenize=True,
	return_dict=True,
	return_tensors="pt",
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=256)
print(processor.decode(outputs[0][inputs["input_ids"].shape[-1]:]))

Notebooks
Google Colab
Kaggle
Local Apps Settings

vLLM

How to use nowdoor/Qwen3.8-27B-Inspect-v01 with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "nowdoor/Qwen3.8-27B-Inspect-v01"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "nowdoor/Qwen3.8-27B-Inspect-v01",
		"messages": [
			{
				"role": "user",
				"content": [
					{
						"type": "text",
						"text": "Describe this image in one sentence."
					},
					{
						"type": "image_url",
						"image_url": {
							"url": "https://cdn.britannica.com/61/93061-050-99147DCE/Statue-of-Liberty-Island-New-York-Bay.jpg"
						}
					}
				]
			}
		]
	}'

Use Docker

docker model run hf.co/nowdoor/Qwen3.8-27B-Inspect-v01

SGLang

How to use nowdoor/Qwen3.8-27B-Inspect-v01 with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "nowdoor/Qwen3.8-27B-Inspect-v01" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "nowdoor/Qwen3.8-27B-Inspect-v01",
		"messages": [
			{
				"role": "user",
				"content": [
					{
						"type": "text",
						"text": "Describe this image in one sentence."
					},
					{
						"type": "image_url",
						"image_url": {
							"url": "https://cdn.britannica.com/61/93061-050-99147DCE/Statue-of-Liberty-Island-New-York-Bay.jpg"
						}
					}
				]
			}
		]
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "nowdoor/Qwen3.8-27B-Inspect-v01" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "nowdoor/Qwen3.8-27B-Inspect-v01",
		"messages": [
			{
				"role": "user",
				"content": [
					{
						"type": "text",
						"text": "Describe this image in one sentence."
					},
					{
						"type": "image_url",
						"image_url": {
							"url": "https://cdn.britannica.com/61/93061-050-99147DCE/Statue-of-Liberty-Island-New-York-Bay.jpg"
						}
					}
				]
			}
		]
	}'

Docker Model Runner
How to use nowdoor/Qwen3.8-27B-Inspect-v01 with Docker Model Runner:
```
docker model run hf.co/nowdoor/Qwen3.8-27B-Inspect-v01
```

Qwen3.8 27b inspect v01

Qwen/Qwen3.8-27B의 언어 모델 전체 파라미터를 한국어 시설물 안전점검·정밀안전진단 보고서 의미 검토 작업에 지도 미세조정한 모델입니다. 비전 인코더와 보조 MTP 텐서는 원본 모델에서 보존한 뒤 최종 VLM 체크포인트에 병합했습니다.

이 저장소에는 병합된 전체 모델 가중치, 토크나이저·프로세서 설정, 라이선스와 모델 카드만 포함됩니다. 학습·평가 데이터와 실행 로그는 포함하지 않으며, 모델 카드에 학습 설정과 독립 평가 결과의 집계만 요약했습니다.

Intended Use

시설물 보고서의 지침 준수 여부에 대한 보조 검토
근거 조항, 적용조건, 보고서 인용, 부족한 점과 보완방법을 포함한 JSON 생성
검토 초안 작성과 품질관리 지원

시설물 안전등급 결정, 법적 적합성 판단 또는 현장 기술자의 최종 결정을 대체하도록 만든 모델이 아닙니다. 실제 사용 시 자격을 갖춘 기술자가 입력 원문, 적용 지침과 모델 결론을 확인해야 합니다.

Training

항목	값
원본 모델	`Qwen/Qwen3.8-27B`
방법	언어 모델 전체 파라미터 SFT, assistant-only loss
파라미터 수	27B
학습/내부 평가 사례	1,960 / 40
epoch	1
최대 길이	18,496 tokens
precision	BF16, TF32

학습 자료는 2,000개의 로컬 시설물 검토 레코드로 구성됐으며 개인정보가 비식별화된 보고서 발췌와 합성 사례를 포함합니다. 데이터 원문은 이 저장소에서 배포하지 않습니다. 공개 배포 전에 데이터와 파생 모델에 대한 권리를 별도로 확인해야 합니다.

학습 및 병합 검증 로그는 로컬 검증용으로만 보관하며 이 저장소에는 배포하지 않습니다.

Evaluation

Facility Review

학습 2,000건과 입력·출력·사례 ID의 정확 중복이 없는 독립 합성 테스트 50건을 사용했습니다. 두 모델 모두 동일 프롬프트, greedy decoding, temperature=0, enable_thinking=False로 평가했습니다.

지표	Base	Fine-tuned
6단계 종합판정 정확도	32/50 (64.0%)	36/50 (72.0%)
일반지침 25건	60.0%	64.0%
교량 세부지침 25건	68.0%	80.0%
JSON 파싱 성공	0/50	50/50
필수 필드 스키마 충족	0/50	49/50
조항·페이지·증거 추적성	0/50	49/50

판정 정확도 차이는 +8.0%p지만 paired bootstrap 95% CI가 -8.0~+24.0%p이고 McNemar exact p=0.4545이므로, 이 표본만으로 의미 판정 성능 향상을 확정할 수 없습니다. 구조화 출력은 명확히 개선됐습니다.

Fine-tuned 모델은 정답의 단일 기준을 대부분 2~3개 하위 기준으로 분해하고 자체 기준 ID를 생성했습니다. 따라서 정확히 한 개의 기준과 미리 지정된 ID가 필요한 시스템은 JSON Schema 제약 또는 추가 학습이 필요합니다. 또한 미흡 재현율은 100.0%에서 71.4%, 비적용은 100.0%에서 50.0%로 낮아져 판정을 완화하는 경향이 관찰됐습니다.

AIME 2024+2025

총 60문항을 thinking mode, medium reasoning effort, greedy decoding, 최대 8,192 생성 토큰으로 평가했습니다.

지표	Base	Fine-tuned
추출 답안 정확도	47/60 (78.33%)	46/60 (76.67%)
변화		-1.67%p

McNemar exact p=1.0이며 paired bootstrap 신뢰구간은 0을 포함합니다. 시설물 도메인 미세조정 후 AIME 성능 향상은 확인되지 않았습니다. 생성 미완료를 오답 처리하는 엄격한 민감도 분석에서는 Base 30/60, Fine-tuned 35/60이었습니다.

Usage

평가와 같은 조건에서는 thinking을 비활성화하고 greedy decoding을 사용합니다.

import torch
from transformers import AutoModelForImageTextToText, AutoProcessor

model_id = "nowdoor/Qwen3.8-27B-Inspect-v01"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForImageTextToText.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)

messages = [
    {
        "role": "system",
        "content": (
            "너는 시설물 안전점검·정밀안전진단 보고서를 일반지침에 따라 "
            "의미 중심으로 검토하는 전문가다. 입력에 없는 사실은 추정하지 않는다."
        ),
    },
    {
        "role": "user",
        "content": "보고서 발췌와 검토 기준을 여기에 입력합니다.",
    },
]
prompt = processor.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
    enable_thinking=False,
)
inputs = processor(text=prompt, return_tensors="pt").to(model.device)
with torch.inference_mode():
    output = model.generate(**inputs, max_new_tokens=2048, do_sample=False)

new_tokens = output[:, inputs["input_ids"].shape[1]:]
print(processor.batch_decode(new_tokens, skip_special_tokens=True)[0])

검증 환경은 Transformers 5.15.0 직접 추론과 vLLM 0.17.1입니다. 모델의 네이티브 최대 문맥은 원본 설정을 유지하지만, 본 미세조정 데이터는 최대 18,496토큰까지만 포함했습니다.

Limitations

50건 시설물 평가는 합성 독립 사례이며 실제 전체 보고서에 대한 외부 타당성을 보장하지 않습니다.
판단보류 사례는 두 모델 모두 맞히지 못했습니다.
엄격한 미흡 또는 비적용 판정을 완화할 수 있습니다.
기준 ID와 결과 항목 수가 호출자가 기대하는 계약과 다를 수 있습니다.
보고서에 없는 사실이나 과도한 보완 근거를 생성할 가능성이 있으므로 원문 대조가 필요합니다.
비전 인코더는 보존됐지만 병합 후 이미지·영상 입력에 대한 별도 도메인 평가는 수행하지 않았습니다.
AIME에서는 Base보다 1문항 낮았으므로 일반 수학 성능 향상을 기대해서는 안 됩니다.

License

Apache License 2.0. 원본 모델의 라이선스와 사용 조건도 함께 확인하십시오.

Downloads last month: 9

Safetensors

Model size

27B params

Tensor type

BF16

Model tree for nowdoor/Qwen3.8-27B-Inspect-v01

Base model

Qwen/Qwen3.8-27B

Finetuned

(817)

this model

Evaluation results

Six-level judgment accuracy on AutoCheck independent synthetic test
test set self-reported

0.720
Extracted-answer accuracy on AIME 2024 and 2025
test set self-reported

0.767