Hugging Face's logo

pablo-rf
/
Llama-3.1-Carballo-Q4_K_M-GGUF

Text Generation
Transformers
GGUF
galician
Llama
llama-cpp
gguf-my-repo
Inference Endpoints
Model card Files Community
Llama-3.1-Carballo-Q4_K_M-GGUF
File size: 4,518 Bytes 
da0e574
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
 
---
language:
- gl
- es
- en
- cat
- pt
licence:
- MIT
tags:
- galician
- Llama
- llama-cpp
- gguf-my-repo
license: llama3.1
inference:
  parameters:
    top_k: 10
    do_sample: true
    temperature: 0.4
widget:
- text: 'Traduce ao galego esta frase en inglés:

    Inglés: "my sister is studying Biology at the university."

    Galego: "a miña irmá está a estudar bioloxía na universidade."

    ----

    Traduce ao galego esta frase en inglés:

    Inglés: "You are working with my mother on a very interesting project."

    Galego: "Estás a traballar coa miña nai nun proxecto moi interesante"

    ----

    Traduce ao galego esta frase en inglés:

    Inglés: "You have to fix the computer now"

    Galego:'
  example_title: Translation
- text: 'Responde á seguinte pregunta.

    Pregunta: "Cal é a capital de Noruega?"

    Resposta: "A capital de Noruega é Oslo."

    ----

    Responde á seguinte pregunta.

    Pregunta: "Cal é a moeda de Portugal"

    Resposta: "A moeda de Portugal é o euro."

    ----

    Responde á seguinte pregunta.

    Pregunta: "Cal é a capital de Suecia?"

    Resposta:'
  example_title: Question&Answering
- text: 'Cualifica como Positivo ou Negativo o sentimento da seguinte frase:

    Texto: "Estou moi feliz"

    Polaridade: Positivo

    ----

    Cualifica como Positivo ou Negativo o sentimento da seguinte frase:

    Texto: "Non me gusta beber cervexa"

    Polaridade: Negativo

    ----

    Cualifica como Positivo ou Negativo o sentimento da seguinte frase:

    Texto: "O meu pai detesta o seu traballo"

    Polaridade: Negativo

    ----

    Cualifica como Positivo ou Negativo  o sentimento da seguinte frase:

    Texto: "Uxía desfruta xogando ao fútbol"

    Polaridade: Positivo

    ----

    Cualifica como Positivo ou Negativo  o sentimento da seguinte frase:

    Texto: "O neno non está contento coas notas"

    Polaridade:'
  example_title: Sentiment Analysis
- text: 'Extrae as entidades nomeadas do seguinte texto:

    Texto: "Chámome Wolfgang e vivo en Berlin"

    Entidades: Wolfgang:PER, Berlin:LOC

    ----

    Extrae as entidades nomeadas do seguinte texto:

    Texto: "María e Miguel non teñen ningún problema"

    Entidades: María:PER, Miguel:PER

    ----

    Extrae as entidades nomeadas do seguinte texto:

    Texto: "O mellor de Barcelona é o bar do meu amigo Pablo"

    Entidades: Pablo:PER, Barcelona:LOC

    ----

    Extrae as entidades nomeadas do seguinte texto:

    Texto: "Carlos comparte cuarto con Marc"

    Entidades:'
  example_title: Name Entity Recognition (NER)
- text: A receita tradicional das filloas é
  example_title: Filloas
- text: O neno vivía preto de
  example_title: O neno
base_model: proxectonos/Llama-3.1-Carballo
pipeline_tag: text-generation
library_name: transformers
---

# pablo-rf/Llama-3.1-Carballo-Q4_K_M-GGUF
This model was converted to GGUF format from [`proxectonos/Llama-3.1-Carballo`](https://huggingface.co/proxectonos/Llama-3.1-Carballo) using llama.cpp via the ggml.ai's [GGUF-my-repo](https://huggingface.co/spaces/ggml-org/gguf-my-repo) space.
Refer to the [original model card](https://huggingface.co/proxectonos/Llama-3.1-Carballo) for more details on the model.

## Use with llama.cpp
Install llama.cpp through brew (works on Mac and Linux)

```bash
brew install llama.cpp

```
Invoke the llama.cpp server or the CLI.

### CLI:
```bash
llama-cli --hf-repo pablo-rf/Llama-3.1-Carballo-Q4_K_M-GGUF --hf-file llama-3.1-carballo-q4_k_m.gguf -p "The meaning to life and the universe is"
```

### Server:
```bash
llama-server --hf-repo pablo-rf/Llama-3.1-Carballo-Q4_K_M-GGUF --hf-file llama-3.1-carballo-q4_k_m.gguf -c 2048
```

Note: You can also use this checkpoint directly through the [usage steps](https://github.com/ggerganov/llama.cpp?tab=readme-ov-file#usage) listed in the Llama.cpp repo as well.

Step 1: Clone llama.cpp from GitHub.
```
git clone https://github.com/ggerganov/llama.cpp
```

Step 2: Move into the llama.cpp folder and build it with `LLAMA_CURL=1` flag along with other hardware-specific flags (for ex: LLAMA_CUDA=1 for Nvidia GPUs on Linux).
```
cd llama.cpp && LLAMA_CURL=1 make
```

Step 3: Run inference through the main binary.
```
./llama-cli --hf-repo pablo-rf/Llama-3.1-Carballo-Q4_K_M-GGUF --hf-file llama-3.1-carballo-q4_k_m.gguf -p "The meaning to life and the universe is"
```
or 
```
./llama-server --hf-repo pablo-rf/Llama-3.1-Carballo-Q4_K_M-GGUF --hf-file llama-3.1-carballo-q4_k_m.gguf -c 2048
```