| FROM ./mark_slm_v3_150m_iq4_nl.gguf | |
| TEMPLATE """{{ .Prompt }}""" | |
| PARAMETER stop "<|eos|>" | |
| PARAMETER stop "<|pad|>" | |
| PARAMETER temperature 0.2 | |
| PARAMETER top_p 0.9 | |
| PARAMETER repeat_penalty 1.1 | |
| FROM ./mark_slm_v3_150m_iq4_nl.gguf | |
| TEMPLATE """{{ .Prompt }}""" | |
| PARAMETER stop "<|eos|>" | |
| PARAMETER stop "<|pad|>" | |
| PARAMETER temperature 0.2 | |
| PARAMETER top_p 0.9 | |
| PARAMETER repeat_penalty 1.1 | |