Instructions to use trangthanhdai/Zenith-0.5B with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use trangthanhdai/Zenith-0.5B with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="trangthanhdai/Zenith-0.5B")
messages = [
    {"role": "user", "content": "Who are you?"},
]
pipe(messages)

# pip install -U transformers accelerate
# Load model directly
from transformers import AutoModel
model = AutoModel.from_pretrained("trangthanhdai/Zenith-0.5B", device_map="auto")

Notebooks
Google Colab
Kaggle
Local Apps Settings

vLLM

How to use trangthanhdai/Zenith-0.5B with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "trangthanhdai/Zenith-0.5B"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "trangthanhdai/Zenith-0.5B",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker

docker model run hf.co/trangthanhdai/Zenith-0.5B

SGLang

How to use trangthanhdai/Zenith-0.5B with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "trangthanhdai/Zenith-0.5B" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "trangthanhdai/Zenith-0.5B",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "trangthanhdai/Zenith-0.5B" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "trangthanhdai/Zenith-0.5B",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Docker Model Runner
How to use trangthanhdai/Zenith-0.5B with Docker Model Runner:
```
docker model run hf.co/trangthanhdai/Zenith-0.5B
```

Model Card for Zenith VN

Developed by: udVietNamspeedrace
Model type: Causal Language Model (Fine-tuned with LoRA)
Language(s) (NLP): Tiếng Việt (Vietnamese)
License: MIT
Finetuned from model: Qwen/Qwen1.5-0.5B-Chat

Uses

Direct Use

Trò chuyện, giải đáp câu hỏi tổng quát bằng tiếng Việt.
Cung cấp thông tin về danh tính trợ lý AI và nhà phát triển udVietNamspeedrace.

Downstream Use

Có thể tích hợp vào các ứng dụng chat nội bộ, bot cộng đồng hoặc làm cơ sở cho các tác vụ xử lý ngôn ngữ tự nhiên tiếng Việt quy mô nhỏ.

Bias, Risks, and Limitations

Vì là mô hình quy mô nhỏ (0.5B parameters), mô hình có thể gặp hiện tượng ảo giác (hallucination) hoặc đưa ra thông tin chưa hoàn toàn chính xác trong một số trường hợp phức tạp.

How to Get Started with the Model

Sử dụng đoạn mã Python dưới đây để tải và trò chuyện trực tiếp với mô hình:

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_id = "trangthanhdai/Zenith-0.5B"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.float16,
    device_map="auto"
)

messages = [
    {"role": "user", "content": "Chào bạn, bạn là ai?"}
]

text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer(text, return_tensors="pt").to(model.device)

outputs = model.generate(**inputs, max_new_tokens=128)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

Downloads last month: -; Downloads are not tracked for this model. How to track