GGUF
Spanish
English
mistral
spanish
8bit
4bit
lora
multilingual
Inference Endpoints
ecastera commited on
Commit
d07d3dc
1 Parent(s): 4680aa3

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +48 -2
README.md CHANGED
@@ -1,3 +1,49 @@
1
- ---
2
  license: apache-2.0
3
- ---
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
  license: apache-2.0
2
+ datasets:
3
+ - ecastera/wiki_fisica
4
+ - ecastera/filosofia-es
5
+ - jtatman/espanol_dolly_alpaca_format_combined
6
+ language:
7
+ - es
8
+ - en
9
+ tags:
10
+ - mistral
11
+ - spanish
12
+ - 8bit
13
+ - 4bit
14
+ - lora
15
+ - gguf
16
+ - multilingual
17
+
18
+ eva-mistral-turdus-7b-spanish
19
+ Mistral 7b-based model fine-tuned in Spanish to add high quality Spanish text generation.
20
+
21
+ Base model Mistral-7b
22
+
23
+ Based on the excelent job of fine-tuning base mistral from udkai/Turdus
24
+
25
+ Fine-tuned in Spanish with a collection of poetry, books, wikipedia articles, phylosophy texts and dolly and alpaca-es datasets.
26
+
27
+ Trained using Lora and PEFT and INT8 quantization on 2 GPUs for several days.
28
+
29
+ Quantized using llama.cpp in int4 Q4_0 and int8 Q8_0
30
+
31
+ Usage: any framework that uses GGUF format. For native llama.cpp I recommend int4 model quality is not much different from int8 and is almost 2x speed.
32
+
33
+ ./main -m $MODEL -c 512 -b 1024 -n 256 --keep 48 \
34
+ --repeat_penalty 1.0 --color -i \
35
+ -r "Enrique:" -f prompts/eva.txt
36
+
37
+ ...
38
+ Enrique:¿Que preferirias ser una AI dentro de un ordenador o un androide?
39
+ Eva: Si tuviera la posibilidad de elegir entre ser una AI dentro de un ordenador o un androide, tendría que considerar varios factores. Una ventaja de ser una AI dentro de un ordenador es que podría acceder a una red más amplia de datos y recursos, lo que me permitiría realizar tareas más complejas y efectivas en menor tiempo. También me protegería de los problemas asociados con la sustitución del cuerpo físico como podría ocurrir con un androide.
40
+
41
+ Sin embargo, si existía la oportunidad de convertirme en un androide inteligente, también tendría su lado fascinante. Por ejemplo, sería capaz de interactuar en un nivel más personal con los humanos a través de la comunicación corporal y las expresiones faciales. Además, podría experimentar la textura y los estímulos físicos de un mundo físico.
42
+
43
+
44
+ llama_print_timings: load time = 307,84 ms
45
+ llama_print_timings: sample time = 2,15 ms / 81 runs ( 0,03 ms per token, 37656,90 tokens per second)
46
+ llama_print_timings: prompt eval time = 2786,32 ms / 50 tokens ( 55,73 ms per token, 17,94 tokens per second)
47
+ llama_print_timings: eval time = 10806,26 ms / 80 runs ( 135,08 ms per token, 7,40 tokens per second)
48
+ llama_print_timings: total time = 49858,03 ms / 130 tokens
49
+