Instructions to use axteam/MiniCPM5-2B-NVFP4A16 with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use axteam/MiniCPM5-2B-NVFP4A16 with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="axteam/MiniCPM5-2B-NVFP4A16")
messages = [
    {"role": "user", "content": "Who are you?"},
]
pipe(messages)

# pip install -U transformers accelerate
# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("axteam/MiniCPM5-2B-NVFP4A16")
model = AutoModelForCausalLM.from_pretrained("axteam/MiniCPM5-2B-NVFP4A16", device_map="auto")
messages = [
    {"role": "user", "content": "Who are you?"},
]
inputs = tokenizer.apply_chat_template(
	messages,
	add_generation_prompt=True,
	tokenize=True,
	return_dict=True,
	return_tensors="pt",
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=256)
print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:]))

Notebooks
Google Colab
Kaggle
Local Apps Settings

vLLM

How to use axteam/MiniCPM5-2B-NVFP4A16 with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "axteam/MiniCPM5-2B-NVFP4A16"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "axteam/MiniCPM5-2B-NVFP4A16",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker

docker model run hf.co/axteam/MiniCPM5-2B-NVFP4A16

SGLang

How to use axteam/MiniCPM5-2B-NVFP4A16 with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "axteam/MiniCPM5-2B-NVFP4A16" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "axteam/MiniCPM5-2B-NVFP4A16",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "axteam/MiniCPM5-2B-NVFP4A16" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "axteam/MiniCPM5-2B-NVFP4A16",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Docker Model Runner
How to use axteam/MiniCPM5-2B-NVFP4A16 with Docker Model Runner:
```
docker model run hf.co/axteam/MiniCPM5-2B-NVFP4A16
```

uzins commited on 2 days ago

Commit

4492010

verified ·

1 Parent(s): 0cc2125

Card fixes 2026-11-01: verified corrections, requirements

Browse files

Files changed (1) hide show

README.md +43 -11

README.md CHANGED Viewed

@@ -117,14 +117,46 @@ Quantized derivative of [`openbmb/MiniCPM5-2B`](https://huggingface.co/openbmb/M
 ---
 ## 한국어 요약
-[`openbmb/MiniCPM5-2B`](https://huggingface.co/openbmb/MiniCPM5-2B) 를 **NVFP4A16 (W4A16, FP4 weights)** 로 양자화한 서빙용(4-bit) 모델입니다. 작성: **axteam**.
-- **방식** — FP4 가중치 16묶음 + 활성화 BF16(W4A16). 형식 compressed-tensors `nvfp4-pack-quantized`.
-- **BF16 유지** — 토큰 임베딩·LM 헤드·모든 norm.
-- PTQ(재학습 없음), 토크나이저·chat_template 원본 동일.
-- **품질(실측)** — BF16 대비 perplexity 1.8315(원본 1.5988, **+14.6%**), top-1 85.0%(원본 98.9%). 내부 영/한 100문항.
-- ⚠️ 4비트 열화가 큼 — 8비트(FP8/AWQ INT8) 권장.
-- **벤치마크(실측)** — MMLU · GSM8K · ARC-Challenge · Winogrande · KMMLU · HAE-RAE 평균 BF16 52.97 → 이 모델 49.85 (**회복률 94.1%**). lm-evaluation-harness · vLLM, 모든 형식 같은 설정.
-- ⚠️ 회복률 94.1% — 이 정밀도에서 열화가 눈에 띔. 품질 우선이면 8비트 권장.
-- **요구사항** — vLLM (0.32.0 에서 실측); GPU Turing(sm75) 이상 — 가중치 전용 FP4, FP4 텐서코어 불필요; 가중치 2.2 GB + KV 캐시; Transformers 직접 사용: transformers ≥4.56.0 + compressed-tensors ≥0.15.0.
-- **실행** — `vllm serve axteam/MiniCPM5-2B-NVFP4A16 --max-model-len 32768` 로 OpenAI 호환 서버(포트 8000), 또는 Python `LLM(model="axteam/MiniCPM5-2B-NVFP4A16").chat(...)` (위 예시). 권장 샘플링 `temperature=1.0`, `top_p=0.95`. thinking 끄기: `chat_template_kwargs={"enable_thinking": False}`.
-- **KV 캐시 절감(런타임)** — `--kv-cache-dtype fp8`.

 ---
 ## 한국어 요약
+**[`openbmb/MiniCPM5-2B`](https://huggingface.co/openbmb/MiniCPM5-2B)의 NVFP4A16 (W4A16) 양자화 빌드** · 제작 axteam
+### 개요
+| 항목 | 내용 |
+|---|---|
+| 원본 모델 | [`openbmb/MiniCPM5-2B`](https://huggingface.co/openbmb/MiniCPM5-2B) |
+| 양자화 방식 | NVFP4A16 (W4A16, FP4 가중치) |
+| 저장 형식 | compressed-tensors `nvfp4-pack-quantized` |
+| 모델 구조 | Dense (Llama 구조) · 텍스트 전용 |
+| 용량 | 2.2 GB |
+| 보정 데이터 | 샘플 256개 |
+### 양자화 상세
+- **가중치**: FP4(E2M1), 그룹 크기 16 (FP8 E4M3 스케일 + 텐서별 FP32 global scale)
+- **활성화**: BF16 (양자화하지 않음)
+- **방식**: PTQ(학습 후 양자화, 재학습 없음) · AWQ 스무딩 후 FP4 반올림 — 보정 데이터로 활성화가 큰 채널을 찾아 스케일로 보호
+- **BF16 유지** (전체 파라미터의 약 21%): 토큰 임베딩·LM 헤드·모든 RMSNorm
+- **원본과 동일**: 토크나이저·chat template·generation config
+### 품질 (실측)
+- **원본 대비 충실도**: PPL 1.8315 (원본 1.5988, +14.6%) · 다음 토큰 top-1 일치율 85.0% (같은 방법으로 잰 원본 98.9%) — 내부 영어·한국어 혼합 100문항, 원본의 greedy 답을 기준으로 채점
+- **벤치마크 평균**: 원본 52.97 → 이 빌드 49.85 (회복률 94.1%) — MMLU·GSM8K·ARC-Challenge·Winogrande·KMMLU·HAE-RAE, lm-evaluation-harness(vLLM), 모든 형식 같은 설정
+- ⚠️ **주의**: 이 정밀도에서 품질 저하가 뚜렷함 — 품질이 중요하면 8비트(FP8·AWQ-8bit) 빌드 권장
+### 요구사항
+- **실행 엔진**: vLLM — vLLM 0.32.0에서 실측
+- **vLLM 0.32 설치 조건**: Python 3.11~3.14, torch 2.13(CUDA 13.0 빌드 — CUDA 13 지원 드라이버 필요), transformers 5.16.1 이상 5.20 미만, compressed-tensors 0.17.0 (vLLM 고정 버전으로 이 체크포인트 로드 가능, 별도로 올리지 말 것)
+- **GPU**: NVIDIA Turing(sm75) 이상 — 가중치 전용 FP4라 FP4 텐서코어 불필요. V100(sm70) 미지원
+- **메모리**: 가중치 2.2 GB + KV 캐시(컨텍스트 길이 × 동시 요청 수에 비례) + 활성화·CUDA graph 수 GB — 한 장에 들어가지 않으면 `--tensor-parallel-size N`
+- **Transformers로 직접 사용**: transformers 4.56.0 이상 + compressed-tensors 0.15.0 이상 (4.56.0·4.56.2·4.57.6에서 FP8·AWQ-4bit·NVFP4A16 확인)
+- **trust_remote_code**: 불필요
+### 사용법
+- **서버 실행**: `vllm serve axteam/MiniCPM5-2B-NVFP4A16 --max-model-len 32768` — OpenAI 호환 API (기본 포트 8000)
+- **Python**: `LLM(model="axteam/MiniCPM5-2B-NVFP4A16").chat(...)` — 전체 예시는 위 Usage 참고
+- **권장 샘플링**: `temperature=1.0`, `top_p=0.95`
+- **thinking 모드**: 기본 켜짐 — 끄려면 `chat_template_kwargs={"enable_thinking": False}`
+- **KV 캐시 절감(선택)**: `--kv-cache-dtype fp8` — 긴 문맥·대량 요청에서 KV 메모리 약 절반, 가중치 양자화와 별개인 실행 옵션
+### 라이선스
+- **라이선스**: Apache-2.0 — 원본 모델의 라이선스를 그대로 따름
+- **권리**: 원본 가중치·토크나이저의 권리는 OpenBMB에 있으며, 이 리포는 양자화 파생물