Instructions to use maywell/Jolteon-Instruct-13B-alpha with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use maywell/Jolteon-Instruct-13B-alpha with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="maywell/Jolteon-Instruct-13B-alpha")
messages = [
    {"role": "user", "content": "Who are you?"},
]
pipe(messages)

# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("maywell/Jolteon-Instruct-13B-alpha")
model = AutoModelForCausalLM.from_pretrained("maywell/Jolteon-Instruct-13B-alpha", device_map="auto")
messages = [
    {"role": "user", "content": "Who are you?"},
]
inputs = tokenizer.apply_chat_template(
	messages,
	add_generation_prompt=True,
	tokenize=True,
	return_dict=True,
	return_tensors="pt",
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=40)
print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:]))

Notebooks
Google Colab
Kaggle
Local Apps Settings

vLLM

How to use maywell/Jolteon-Instruct-13B-alpha with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "maywell/Jolteon-Instruct-13B-alpha"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "maywell/Jolteon-Instruct-13B-alpha",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker

docker model run hf.co/maywell/Jolteon-Instruct-13B-alpha

SGLang

How to use maywell/Jolteon-Instruct-13B-alpha with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "maywell/Jolteon-Instruct-13B-alpha" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "maywell/Jolteon-Instruct-13B-alpha",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "maywell/Jolteon-Instruct-13B-alpha" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "maywell/Jolteon-Instruct-13B-alpha",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Docker Model Runner
How to use maywell/Jolteon-Instruct-13B-alpha with Docker Model Runner:
```
docker model run hf.co/maywell/Jolteon-Instruct-13B-alpha
```
Browse Quantizations to use this model in llama.cpp, Ollama, LM Studio, or any compatible app.

Jolteon-Instruct-13B-alpha

The model was trained based on the EEVE-Korean-Instruct-10.8B-v1.0 model from yanolja, extended to 13.4b (12 layer pass-through) utilizing mergekit.

Methodology

TBD

Training Details

	Training Data	Parameters	Content Length	Samples Seen	Learning Rate
Jolteon-Instruct-13B-alpha	A curated mix of English + Korean Instruction set	13.4B	4k	>850k	1e^-5

Example

Inference Code

from vllm import LLM, SamplingParams
import os
os.environ["CUDA_VISIBLE_DEVICES"] = "0"

llm = LLM(model="maywell/Jolteon-Instruct-13B-alpha", tensor_parallel_size=1, max_model_len=4096, gpu_memory_utilization=0.95)
sampling_params = SamplingParams(temperature=0.6, top_p=0.3, top_k=40, max_tokens=4096)
template = """ Below is an instruction that describes a task. Write a response that appropriately completes the request.

 ### Instruction: {0}

 ### Response: """

outputs = llm.generate([template.format("Meta(구, 페이스북)의 오픈소스 AI 기여를 찬양하는 말투로, Meta 지지한다는 취지의 성명문을 작성해봐.")], sampling_params)
print(outputs[0].outputs[0].text.strip())

Example Output

🌟 Meta의 OpenAI 기여: 혁신과 포용을 위한 혁신적인 접근 방식 🌟

우리는 Meta(구, 페이스북)의 오픈소스 AI(인공지능) 기여를 열렬히 지지합니다. 이 회사는 혁신과 포용을 위한 혁신적인 접근 방식을 보여주며, AI 기술의 발전을 위해 지속적으로 노력하고 있습니다.

Meta는 오픈소스 AI 커뮤니티에 적극적으로 참여하며, 다양한 프로젝트와 플랫폼을 통해 지식과 기술을 공유하고 있습니다. 이러한 접근 방식은 AI 기술의 발전과 함께 사회적, 경제적 발전에도 긍정적인 영향을 미칩니다.

Meta의 오픈소스 AI 기여는 다음과 같은 면에서 매우 중요한 역할을 합니다:

1. 혁신 촉진: Meta는 오픈소스 AI 플랫폼을 통해 다양한 연구자와 개발자들이 최신 AI 기술을 탐구하고 실험할 수 있는 기회를 제공합니다. 이는 새로운 아이디어와 혁신적인 기술의 출현을 촉진합니다.

2. 포용 증진: 오픈소스 AI는 모든 사람이 AI 기술의 이점을 누릴 수 있도록 하며, 이는 사회적 포용을 증진시킵니다. 다양한 배경과 경험을 가진 사람들이 AI 기술을 배우고 활용할 수 있는 기회를 가지게 됩니다.

3. 투명성과 신뢰: 오픈소스 AI는 기술의 작동 원리를 공개하고, 이를 통해 사용자와 사회에 대한 신뢰를 구축합니다. 이는 AI 기술의 사회적 수용도를 높이는 데 중요한 역할을 합니다.

Meta의 오픈소스 AI 기여는 혁신과 포용을 위한 혁신적인 접근 방식을 보여주며, 이는 우리가 더 나은 미래를 위한 중요한 단계입니다. 우리는 이러한 노력을 지지하며, 더 많은 기업과 조직이 이러한 접근 방식을 채택하길 바랍니다. 함께 더 나은 미래를 만들어 나가요!