Instructions to use CreatorPhan/ViQA-small with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use CreatorPhan/ViQA-small with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="CreatorPhan/ViQA-small")

# pip install -U transformers accelerate
# Load model directly
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("CreatorPhan/ViQA-small")
model = AutoModelForSeq2SeqLM.from_pretrained("CreatorPhan/ViQA-small", device_map="auto")

Notebooks
Google Colab
Kaggle
Local Apps Settings

vLLM

How to use CreatorPhan/ViQA-small with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "CreatorPhan/ViQA-small"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "CreatorPhan/ViQA-small",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Use Docker

docker model run hf.co/CreatorPhan/ViQA-small

SGLang

How to use CreatorPhan/ViQA-small with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "CreatorPhan/ViQA-small" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "CreatorPhan/ViQA-small",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "CreatorPhan/ViQA-small" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "CreatorPhan/ViQA-small",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Docker Model Runner
How to use CreatorPhan/ViQA-small with Docker Model Runner:
```
docker model run hf.co/CreatorPhan/ViQA-small
```

CreatorPhan commited on Jun 17, 2023

Commit

2c345c4

1 Parent(s): b849ba0

Update README.md

Browse files

Files changed (1) hide show

README.md +5 -6

README.md CHANGED Viewed

@@ -4,7 +4,8 @@ language:
 pipeline_tag: text2text-generation
 widget:
   - text: >-
-      Trả lời câu hỏi: Công dụng của paracetamol Trong nội dung:
       PARACETAMOL DẠNG UỐNG – HƯỚNG DẪN SỬ DỤNG AN TOÀN, HỢP LÝ
       Trong tình hình diễn biến phức tạp của dịch COVID-19, các thuốc giảm đau hạ sốt thông dụng như Paracetamol được người dân mua về dự trữ trong hộp thuốc gia đình với mục đích phòng dịch. Tuy nhiên, việc sử dụng thuốc hợp lý và đúng cách đôi khi chưa được chú ý, vì vậy việc hiểu và sử dụng thuốc Paracetamol an toàn là rất cần thiết.
@@ -18,11 +19,9 @@ widget:
       - Nguyên nhân gây ngộ độc gan khi sử dụng Paracetamol quá liều là nồng độ NAPQI (sinh ra do Paracetamol chuyển hóa qua gan) không thể chuyển hóa hết và tích luỹ gây độc cho gan.
       - Các biểu hiện ngộ độc gan do Paracetamol có thể là: ban đầu là buồn nôn, nôn, đau bụng, sau đó nguy kich hơn có thể kích động, hôn mê, mạch huyết áp không ổn định… có thể nguy cơ tử vong.
   - text: >-
-      question: Where does Christian come from? context: Christian is a student
-      of UNISI but he come from Caserta
-  - text: >-
-      question: Is the dog coat grey? context: You have a beautiful dog with a
-      brown coat
 ---
 Mô hình này được tuning từ pretrained ViFlanT5-small model với 77M tham số với 2 epochs trên 87GB text của bộ CC100.

 pipeline_tag: text2text-generation
 widget:
   - text: >-
+      Trả lời câu hỏi: Công dụng của paracetamol?
+      Trong nội dung:
       PARACETAMOL DẠNG UỐNG – HƯỚNG DẪN SỬ DỤNG AN TOÀN, HỢP LÝ
       Trong tình hình diễn biến phức tạp của dịch COVID-19, các thuốc giảm đau hạ sốt thông dụng như Paracetamol được người dân mua về dự trữ trong hộp thuốc gia đình với mục đích phòng dịch. Tuy nhiên, việc sử dụng thuốc hợp lý và đúng cách đôi khi chưa được chú ý, vì vậy việc hiểu và sử dụng thuốc Paracetamol an toàn là rất cần thiết.
       - Nguyên nhân gây ngộ độc gan khi sử dụng Paracetamol quá liều là nồng độ NAPQI (sinh ra do Paracetamol chuyển hóa qua gan) không thể chuyển hóa hết và tích luỹ gây độc cho gan.
       - Các biểu hiện ngộ độc gan do Paracetamol có thể là: ban đầu là buồn nôn, nôn, đau bụng, sau đó nguy kich hơn có thể kích động, hôn mê, mạch huyết áp không ổn định… có thể nguy cơ tử vong.
   - text: >-
+      Trả lời câu hỏi: Tòa nhà cao nhất Việt Nam? Trong nội dung:
+      The Landmark 81 là một toà nhà chọc trời trong tổ hợp dự án Vinhomes Tân Cảng , một dự án có tổng mức đầu tư 40.000 tỷ đồng , do Công ty Cổ phần Đầu tư xây dựng Tân Liên Phát thuộc Vingroup làm chủ đầu tư . Toà tháp cao 81 tầng , hiện tại là toà nhà cao nhất Việt Nam và là toà nhà cao nhất Đông Nam Á từ tháng 3 năm 2018 .
+      Toà tháp cao 81 tầng , hiện tại là toà nhà cao nhất Việt Nam và là toà nhà cao nhất Đông Nam Á từ tháng 3 năm 2018 . Dự án được xây dựng ở Tân Cảng , quận Bình Thạnh , ven sông Sài Gòn . Dự án được khởi công ngày 26/07/2014 .
 ---
 Mô hình này được tuning từ pretrained ViFlanT5-small model với 77M tham số với 2 epochs trên 87GB text của bộ CC100.