Instructions to use emrekayik/needle-tr-lora with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use emrekayik/needle-tr-lora with PEFT:

from peft import PeftModel
from transformers import AutoModelForCausalLM

base_model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2.5-0.5B-Instruct")
model = PeftModel.from_pretrained(base_model, "emrekayik/needle-tr-lora")

Transformers

How to use emrekayik/needle-tr-lora with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="emrekayik/needle-tr-lora")
messages = [
    {"role": "user", "content": "Who are you?"},
]
pipe(messages)

# pip install -U transformers accelerate
# Load model directly
from transformers import AutoModel
model = AutoModel.from_pretrained("emrekayik/needle-tr-lora", device_map="auto")

Notebooks
Google Colab
Kaggle
Local Apps Settings

vLLM

How to use emrekayik/needle-tr-lora with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "emrekayik/needle-tr-lora"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "emrekayik/needle-tr-lora",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker

docker model run hf.co/emrekayik/needle-tr-lora

SGLang

How to use emrekayik/needle-tr-lora with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "emrekayik/needle-tr-lora" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "emrekayik/needle-tr-lora",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "emrekayik/needle-tr-lora" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "emrekayik/needle-tr-lora",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Docker Model Runner
How to use emrekayik/needle-tr-lora with Docker Model Runner:
```
docker model run hf.co/emrekayik/needle-tr-lora
```

🇹🇷 Needle-TR LoRA: Türkçe Araç Çağırıcı Model

Needle-TR LoRA, Türkçe doğal dil komutlarını yüksek doğrulukla yerel fonksiyon/araç çağrılarına (Tool Calling / Function Calling) dönüştürmek üzere eğitilmiş hafif bir LoRA adaptörüdür. Cactus Needle (needle3) mimarisinden ilham alarak geliştirilmiştir.

Model Details

Model Description

Geliştirici (Developed by): emrekayik
Model Türü (Model type): PEFT LoRA (Low-Rank Adaptation) for Causal Language Modeling
Temel Model (Base model): Qwen/Qwen2.5-0.5B-Instruct
İlham Alınan Mimari: Cactus-Compute/needle3
Desteklenen Diller (Languages): Türkçe (tr), İngilizce (en)
Lisans (License): Apache-2.0
Kaynak Kod Deposu (Repository): https://github.com/emrekayik/needle-tr

Uses

Doğrudan Kullanım (Direct Use)

Türkçe kullanıcı komutlarını JSON tabanlı fonksiyon çağrılarına dönüştürme.
Cihaz üzerinde (on-device) çalışan yerel yapay zeka asistanları ve akıllı ev / mobil ajan sistemleri.
Desteklenen temel araçlar: get_weather (hava durumu), send_message (mesaj iletme), set_alarm (alarm kurma), calculate (matematiksel işlem).

Kapsam Dışı Kullanım (Out-of-Scope Use)

Fonksiyon çağırma amacı taşımayan genel sohbet ve serbest metin üretimi.
Kötü niyetli, zararlı ya da yetkisiz sistem otomasyonları.

Bias, Risks, and Limitations

Model, önceden tanımlanmış araç şemalarıyla en yüksek performansı verecek şekilde optimize edilmiştir.
Tanımlı araçların dışındaki bir talep geldiğinde araç uydurmak yerine boş çağrı ([]) üretmesi hedeflenmiştir.

How to Get Started with the Model

Modeli transformers ve peft kütüphaneleriyle doğrudan kullanabilirsiniz:

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

base_model_id = "Qwen/Qwen2.5-0.5B-Instruct"
lora_model_id = "emrekayik/needle-tr-lora"

tokenizer = AutoTokenizer.from_pretrained(lora_model_id)
base_model = AutoModelForCausalLM.from_pretrained(
    base_model_id,
    torch_dtype=torch.float32,
    device_map="auto",
)
model = PeftModel.from_pretrained(base_model, lora_model_id)

messages = [
    {
        "role": "system",
        "content": "Sen Türkçe komutları uygun araçlara dönüştüren bir yapay zeka asistanısın."
    },
    {
        "role": "user",
        "content": "İstanbul'da hava durumu nasıl?"
    }
]

prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)

with torch.no_grad():
    outputs = model.generate(**inputs, max_new_tokens=128)

response = tokenizer.decode(outputs[0][inputs.input_ids.shape[1]:], skip_special_tokens=True)
print(response)
# Çıktı:
# ```json
# {"name": "get_weather", "arguments": {"city": "İstanbul"}}
# ```

Downloads last month: 34

Model tree for emrekayik/needle-tr-lora

Base model

Cactus-Compute/needle3

Adapter

(2)

this model