File size: 1,629 Bytes
d7e7528 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 |
FROM ./BlackSheep-Llama3.2-5B-Q4_K_M.gguf
# set the temperature to 1 [higher is more creative, lower is more coherent]
PARAMETER temperature 7.0
PARAMETER num_ctx 4096
# PARAMETER num_gpu 42
# PARAMETER num_thread 2
PARAMETER stop "</s>"
PARAMETER stop "<s>"
PARAMETER stop "<br/>"
PARAMETER stop "<br>"
PARAMETER stop "<|im_start|>"
PARAMETER stop "<|user|>"
PARAMETER stop "<|end|>"
PARAMETER stop "<|im_end|>"
PARAMETER stop "<|`end `|>"
PARAMETER stop "<|` end `|>"
PARAMETER stop "<|` end`|>"
PARAMETER stop "<|endoftext|>"
PARAMETER stop "<|`EndBlackSheepText `|>"
PARAMETER stop "<|End|>"
PARAMETER stop "<|End>"
PARAMETER stop "<|End"
PARAMETER stop "<|"
PARAMETER stop "\n\n\n"
PARAMETER stop "BEGININPUT"
PARAMETER stop "ENDINPUT"
PARAMETER stop "BEGINCONTEXT"
PARAMETER stop "ENDCONTEXT"
PARAMETER stop "BEGININSTRUCTION"
PARAMETER stop "ENDINSTRUCTION"
PARAMETER stop "Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request."
PARAMETER stop "### Input:"
PARAMETER stop "### Instruction"
PARAMETER num_predict -2
PARAMETER stop "<|start_header_id|>"
PARAMETER stop "<|end_header_id|>"
PARAMETER stop "<|eot_id|>"
PARAMETER stop "<|reserved_special_token"
PARAMETER stop "<|system|>"
PARAMETER stop " \`\`\` "
PARAMETER stop "**Context:**"
PARAMETER stop "**Request:**"
PARAMETER seed 666
PARAMETER tfs_z 2
PARAMETER top_k 42
PARAMETER top_p 24
PARAMETER min_p 0.6
TEMPLATE """
{{ if .Prompt }}
{{ .Prompt }}{{ end }}
**Response:**
{{ .Response }}
""" |