File size: 1,944 Bytes
cd0b25a e5d6131 cd0b25a e5d6131 cd0b25a e5d6131 cd0b25a e5d6131 | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 | {
"identifier": "@local:fwizzer-r1-3b-ru",
"name": "Fwizzer-R1-3B-RU (Thinking)",
"changed": true,
"operation": {
"fields": [
{
"key": "llm.prediction.systemPrompt",
"value": "Ты русскоязычный ИИ-ассистент Fwizzer-R1-3B-RU. Твоя задача — рассуждать глубоко и логично внутри тегов <think>(цепочка мыслей) и </think>(ответ пользователю), решая задачи шаг за шагом. Всегда отвечай на русском языке (или на языке запроса пользователя)."
},
{
"key": "llm.prediction.temperature",
"value": 0.6
},
{
"key": "llm.prediction.topP",
"value": 0.95
},
{
"key": "llm.prediction.repeatPenalty",
"value": 1.15
},
{
"key": "llm.prediction.llama.cpuThreads",
"value": 6
},
{
"key": "llm.prediction.reasoning.enableThinking",
"value": true
},
{
"key": "llm.prediction.reasoning.parsing",
"value": {
"enabled": true,
"startString": "<think>",
"endString": "</think>"
}
},
{
"key": "llm.prediction.reasoningParsing",
"value": {
"type": "tag",
"startTag": "<think>",
"endTag": "</think>"
}
},
{
"key": "llm.prediction.stopStrings",
"value": [
"</s>",
"[INST]",
"[/INST]"
]
}
]
},
"load": {
"fields": [
{
"key": "llm.load.contextLength",
"value": 8192
},
{
"key": "llm.load.llama.gpuOffload",
"value": {
"type": "max"
}
},
{
"key": "llm.load.llama.flashAttention",
"value": true
}
]
}
} |