FROM ./RAM_Altman_GPT-f16.gguf

# chat format: wrap the user prompt and let the model answer as RAM-ALTMAN
TEMPLATE "User: {{ .Prompt }}\nRAM-ALTMAN:"

PARAMETER num_ctx 379
PARAMETER temperature 1.0
PARAMETER repeat_penalty 1.0
PARAMETER top_k 50
PARAMETER top_p 1.0
PARAMETER min_p 0.0
PARAMETER num_predict 256
PARAMETER stop "<|i_have_enough_ram|>"
PARAMETER stop "\nUser:"