Instructions to use eac123/olmo3-7b-exp1b-lora-e4 with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use eac123/olmo3-7b-exp1b-lora-e4 with PEFT:

from peft import PeftModel
from transformers import AutoModelForCausalLM

base_model = AutoModelForCausalLM.from_pretrained("allenai/Olmo-3-1025-7B")
model = PeftModel.from_pretrained(base_model, "eac123/olmo3-7b-exp1b-lora-e4")

Transformers

How to use eac123/olmo3-7b-exp1b-lora-e4 with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="eac123/olmo3-7b-exp1b-lora-e4")

# pip install -U transformers accelerate
# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("eac123/olmo3-7b-exp1b-lora-e4")
model = AutoModelForCausalLM.from_pretrained("eac123/olmo3-7b-exp1b-lora-e4", device_map="auto")

Notebooks
Google Colab
Kaggle
Local Apps Settings

vLLM

How to use eac123/olmo3-7b-exp1b-lora-e4 with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "eac123/olmo3-7b-exp1b-lora-e4"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "eac123/olmo3-7b-exp1b-lora-e4",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Use Docker

docker model run hf.co/eac123/olmo3-7b-exp1b-lora-e4

SGLang

How to use eac123/olmo3-7b-exp1b-lora-e4 with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "eac123/olmo3-7b-exp1b-lora-e4" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "eac123/olmo3-7b-exp1b-lora-e4",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "eac123/olmo3-7b-exp1b-lora-e4" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "eac123/olmo3-7b-exp1b-lora-e4",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Docker Model Runner
How to use eac123/olmo3-7b-exp1b-lora-e4 with Docker Model Runner:
```
docker model run hf.co/eac123/olmo3-7b-exp1b-lora-e4
```

olmo3-7b-exp1b-lora-e4 / debug.log

eac123

Upload folder using huggingface_hub

d2f11ca verified 8 months ago

Raw History Blame Contribute Delete

16 kB

Loading weights:   0%|                                                                                                                                                                                                                          | 0/355 [00:00<?, ?it/s]
Loading weights:   0%|▌                                                                                                                                                                                                                 | 1/355 [00:00<00:36,  9.75it/s]
Loading weights:   1%|█▏                                                                                                                                                                                                                | 2/355 [00:00<01:04,  5.46it/s]
Loading weights:   5%|█████████▍                                                                                                                                                                                                       | 16/355 [00:00<00:07, 45.08it/s]
Loading weights:   9%|██████████████████▎                                                                                                                                                                                              | 31/355 [00:00<00:04, 71.59it/s]
Loading weights:  13%|███████████████████████████                                                                                                                                                                                      | 46/355 [00:00<00:03, 93.04it/s]
Loading weights:  16%|██████████████████████████████████▏                                                                                                                                                                              | 58/355 [00:00<00:03, 96.79it/s]
Loading weights:  20%|█████████████████████████████████████████▏                                                                                                                                                                       | 70/355 [00:00<00:02, 97.42it/s]
Loading weights:  23%|███████████████████████████████████████████████▋                                                                                                                                                                 | 81/355 [00:01<00:02, 95.06it/s]
Loading weights:  26%|██████████████████████████████████████████████████████▏                                                                                                                                                          | 92/355 [00:01<00:02, 95.81it/s]
Loading weights:  29%|████████████████████████████████████████████████████████████▋                                                                                                                                                  | 104/355 [00:01<00:02, 101.53it/s]
Loading weights:  32%|███████████████████████████████████████████████████████████████████▍                                                                                                                                            | 115/355 [00:01<00:02, 96.15it/s]
Loading weights:  35%|█████████████████████████████████████████████████████████████████████████▊                                                                                                                                      | 126/355 [00:01<00:02, 93.63it/s]
Loading weights:  38%|███████████████████████████████████████████████████████████████████████████████▋                                                                                                                                | 136/355 [00:01<00:02, 94.98it/s]
Loading weights:  41%|██████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                         | 147/355 [00:01<00:02, 94.84it/s]
Loading weights:  44%|███████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                    | 157/355 [00:01<00:02, 91.43it/s]
Loading weights:  48%|███████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                             | 169/355 [00:01<00:01, 96.37it/s]
Loading weights:  51%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                      | 180/355 [00:02<00:01, 96.18it/s]
Loading weights:  54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                | 191/355 [00:02<00:01, 99.64it/s]
Loading weights:  57%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                        | 203/355 [00:02<00:01, 100.68it/s]
Loading weights:  61%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                | 218/355 [00:02<00:01, 112.07it/s]
Loading weights:  65%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                         | 230/355 [00:02<00:01, 113.35it/s]
Loading weights:  68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                  | 242/355 [00:02<00:01, 109.47it/s]
Loading weights:  72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                           | 254/355 [00:02<00:00, 108.95it/s]
Loading weights:  75%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                    | 265/355 [00:02<00:00, 106.69it/s]
Loading weights:  78%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                              | 276/355 [00:02<00:00, 105.70it/s]
Loading weights:  81%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                       | 287/355 [00:03<00:00, 98.76it/s]
Loading weights:  84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                  | 297/355 [00:03<00:00, 90.80it/s]
Loading weights:  86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                            | 307/355 [00:03<00:00, 90.18it/s]
Loading weights:  89%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                      | 317/355 [00:03<00:00, 90.45it/s]
Loading weights:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                | 327/355 [00:03<00:00, 92.93it/s]
Loading weights:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍          | 337/355 [00:03<00:00, 90.00it/s]
Loading weights:  99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████   | 350/355 [00:03<00:00, 100.63it/s]
Loading weights: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 355/355 [00:03<00:00, 94.01it/s]