Instructions to use deepseek-ai/DeepSeek-R1 with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use deepseek-ai/DeepSeek-R1 with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="deepseek-ai/DeepSeek-R1", trust_remote_code=True)
messages = [
    {"role": "user", "content": "Who are you?"},
]
pipe(messages)

# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("deepseek-ai/DeepSeek-R1", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("deepseek-ai/DeepSeek-R1", trust_remote_code=True, device_map="auto")
messages = [
    {"role": "user", "content": "Who are you?"},
]
inputs = tokenizer.apply_chat_template(
	messages,
	add_generation_prompt=True,
	tokenize=True,
	return_dict=True,
	return_tensors="pt",
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=40)
print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:]))

Inference
HuggingChat
Notebooks
Google Colab
Kaggle
Local Apps Settings

vLLM

How to use deepseek-ai/DeepSeek-R1 with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "deepseek-ai/DeepSeek-R1"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "deepseek-ai/DeepSeek-R1",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker

docker model run hf.co/deepseek-ai/DeepSeek-R1

SGLang

How to use deepseek-ai/DeepSeek-R1 with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "deepseek-ai/DeepSeek-R1" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "deepseek-ai/DeepSeek-R1",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "deepseek-ai/DeepSeek-R1" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "deepseek-ai/DeepSeek-R1",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Docker Model Runner
How to use deepseek-ai/DeepSeek-R1 with Docker Model Runner:
```
docker model run hf.co/deepseek-ai/DeepSeek-R1
```

help from italy

#100

by MMPPIIAA - opened Feb 1, 2025

Discussion

MMPPIIAA

Feb 1, 2025

Ciao

sto in italia

vorrei usare deepseek ma qui è vietato

ho bisogno di una casella di posta che sembri di un'altra nazione e di un VPN

il VPN so dove trovarlo

mi consigliate un provider che mi da una nuova casella di posta NON riconoscibile come italiana?

grazie a tutti

mariapia_costanzo@virgilio.it

emmanuelfabiani23

Feb 2, 2025

MariaPia, ma dove hai visto che deepseek e' vietato in Italia???

MMPPIIAA

Feb 2, 2025

Ciao Emanuele

ti ringrazio molto per la risposta

ho tentato di registrarmi con questo indirizzo e poi con un altro indirizzo di un altro provider italiano e quando schiaccio send code mi risponde:
your domain is currently not supported for registration

poi ho fatto una casella su protonmail che è svizzero, non mi da il messaggio che mi da con l'indirizzo italiano ma quando schiaccio send code nella casella proton non arriva niente

Il 02/02/25 17:16, notifications ha scritto:

New comment by Emmanuel Fabiani (@emmanuelfabiani23 ) on #100 - help from italy
–

MariaPia, ma dove hai visto che deepseek e' vietato in Italia???

però ho letto che funziona per chi si è registrato prima di una certa data

se hai qualche soluzione per me, te ne sarò grata

buona serata

MPia

penile

Feb 2, 2025

la soluzione è lasciare sta nazione di merda

Felipegalind0

Feb 5, 2025

real men use Mulvard VPN, and speak American

MMPPIIAA

Feb 10, 2025

Buenas dias

yo prefiero hablar español o italiano, no me gusta el ingles

ho risolto il problema: DeepSeek non accetta nuove registrazioni da indirizzi di email italiano o provenienti da IP italiani

ho usato un VPN, ho scelto Madrid, ho registrato un nuovo indirizzo di posta e con questo mi sono iscritta a DeepSeek.

Adesso funziona anche se lo uso dal mio browser che è chiaramente tracciabile come italiano.

Buona giornata

Maria Pia

Upload images, audio, and videos by dragging in the text input, pasting, or clicking here.

Tap or paste here to upload images

· Sign up or log in to comment