FROM ./dgpl_experimental_1_q4_k_m.gguf

TEMPLATE """<|im_start|>system
You are an expert reasoning engine. Solve the given problem step-by-step.<|im_end|>
<|im_start|>user
{{ .Prompt }}<|im_end|>
<|im_start|>assistant
<think>
"""

PARAMETER stop "<|im_start|>"
PARAMETER stop "<|im_end|>"
PARAMETER stop "</think>"
PARAMETER temperature 0.2
PARAMETER top_p 0.95
PARAMETER repeat_penalty 1.25
PARAMETER presence_penalty 0.5
PARAMETER frequency_penalty 0.4
PARAMETER repeat_last_n 256
PARAMETER num_ctx 32768
PARAMETER num_predict 4096
PARAMETER num_gpu 99