HirCoir commited on
Commit
7129059
1 Parent(s): b154ef8

Create README.md

Browse files
Files changed (1) hide show
  1. README.md +68 -0
README.md ADDED
@@ -0,0 +1,68 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ language:
3
+ - en
4
+ tags:
5
+ - gguf
6
+ - llama.cpp
7
+ - tiny
8
+ - tinyllama
9
+ ---
10
+ # TinyLlama-1.1B-Chat-v1.0
11
+ ![Image](image.jpeg)
12
+
13
+ ## Requisitos
14
+
15
+ Para usar este modelo, necesitas tener instalado llama.cpp en tu equipo. Puedes obtener llama.cpp desde el siguiente repositorio:
16
+
17
+ - [Repositorio de llama.cpp](https://github.com/ggerganov/llama.cpp)
18
+
19
+ Para instalar llama.cpp, sigue estos pasos:
20
+
21
+ ```bash
22
+ git clone https://github.com/ggerganov/llama.cpp
23
+ cd llama.cpp
24
+ make
25
+ ```
26
+
27
+ ## Uso del modelo
28
+
29
+ La plantilla del modelo es la siguiente:
30
+
31
+ ```plaintext
32
+ <|system|>\nAnswer user questions</s>\n<|user|>\n{prompt}</s>\n<|assistant|>
33
+ ```
34
+
35
+ Puedes utilizar el modelo en llama.cpp con el siguiente comando:
36
+
37
+ ```bash
38
+ ./main -m ggml-model-Q8_0.gguf -p "<|system|>\nAnswer user questions</s>\n<|user|>\nHi</s>\n<|assistant|>" --log-disable
39
+ ```
40
+
41
+ LM Studio config-presets
42
+
43
+ Filename:phi-3.preset.json
44
+ ```json
45
+ {
46
+ "name": "Phi-3",
47
+ "inference_params": {
48
+ "input_prefix": "<|user|>\n",
49
+ "input_suffix": "</s>\n<|assistant|>\n",
50
+ "antiprompt": [
51
+ "<|user|>\n",
52
+ "</s>\n<|assistant|>\n"
53
+ ],
54
+ "pre_prompt": "<|system|>\nAnswer user questions</s>",
55
+ "pre_prompt_prefix": "",
56
+ "pre_prompt_suffix": ""
57
+ },
58
+ "load_params": {
59
+ "rope_freq_scale": 0,
60
+ "rope_freq_base": 0
61
+ }
62
+ }
63
+ ```
64
+
65
+ ## Referencias
66
+
67
+ - [Repositorio original](https://huggingface.co/TinyLlama/TinyLlama-1.1B-Chat-v1.0)
68
+ - [Repositorio de llama.cpp](https://github.com/ggerganov/llama.cpp)