---
language:
- gl
- es
- en
- cat
- pt
licence:
- MIT
tags:
- galician
- Llama
- llama-cpp
- gguf-my-repo
license: llama3.1
inference:
  parameters:
    top_k: 10
    do_sample: true
    temperature: 0.4
widget:
- text: 'Traduce ao galego esta frase en inglés:

    Inglés: "my sister is studying Biology at the university."

    Galego: "a miña irmá está a estudar bioloxía na universidade."

    ----

    Traduce ao galego esta frase en inglés:

    Inglés: "You are working with my mother on a very interesting project."

    Galego: "Estás a traballar coa miña nai nun proxecto moi interesante"

    ----

    Traduce ao galego esta frase en inglés:

    Inglés: "You have to fix the computer now"

    Galego:'
  example_title: Translation
- text: 'Responde á seguinte pregunta.

    Pregunta: "Cal é a capital de Noruega?"

    Resposta: "A capital de Noruega é Oslo."

    ----

    Responde á seguinte pregunta.

    Pregunta: "Cal é a moeda de Portugal"

    Resposta: "A moeda de Portugal é o euro."

    ----

    Responde á seguinte pregunta.

    Pregunta: "Cal é a capital de Suecia?"

    Resposta:'
  example_title: Question&Answering
- text: 'Cualifica como Positivo ou Negativo o sentimento da seguinte frase:

    Texto: "Estou moi feliz"

    Polaridade: Positivo

    ----

    Cualifica como Positivo ou Negativo o sentimento da seguinte frase:

    Texto: "Non me gusta beber cervexa"

    Polaridade: Negativo

    ----

    Cualifica como Positivo ou Negativo o sentimento da seguinte frase:

    Texto: "O meu pai detesta o seu traballo"

    Polaridade: Negativo

    ----

    Cualifica como Positivo ou Negativo  o sentimento da seguinte frase:

    Texto: "Uxía desfruta xogando ao fútbol"

    Polaridade: Positivo

    ----

    Cualifica como Positivo ou Negativo  o sentimento da seguinte frase:

    Texto: "O neno non está contento coas notas"

    Polaridade:'
  example_title: Sentiment Analysis
- text: 'Extrae as entidades nomeadas do seguinte texto:

    Texto: "Chámome Wolfgang e vivo en Berlin"

    Entidades: Wolfgang:PER, Berlin:LOC

    ----

    Extrae as entidades nomeadas do seguinte texto:

    Texto: "María e Miguel non teñen ningún problema"

    Entidades: María:PER, Miguel:PER

    ----

    Extrae as entidades nomeadas do seguinte texto:

    Texto: "O mellor de Barcelona é o bar do meu amigo Pablo"

    Entidades: Pablo:PER, Barcelona:LOC

    ----

    Extrae as entidades nomeadas do seguinte texto:

    Texto: "Carlos comparte cuarto con Marc"

    Entidades:'
  example_title: Name Entity Recognition (NER)
- text: A receita tradicional das filloas é
  example_title: Filloas
- text: O neno vivía preto de
  example_title: O neno
base_model: proxectonos/Llama-3.1-Carballo
pipeline_tag: text-generation
library_name: transformers
---

# pablo-rf/Llama-3.1-Carballo-Q4_K_M-GGUF
This model was converted to GGUF format from [`proxectonos/Llama-3.1-Carballo`](https://huggingface.co/proxectonos/Llama-3.1-Carballo) using llama.cpp via the ggml.ai's [GGUF-my-repo](https://huggingface.co/spaces/ggml-org/gguf-my-repo) space.
Refer to the [original model card](https://huggingface.co/proxectonos/Llama-3.1-Carballo) for more details on the model.

## Use with llama.cpp
Install llama.cpp through brew (works on Mac and Linux)

```bash
brew install llama.cpp

```
Invoke the llama.cpp server or the CLI.

### CLI:
```bash
llama-cli --hf-repo pablo-rf/Llama-3.1-Carballo-Q4_K_M-GGUF --hf-file llama-3.1-carballo-q4_k_m.gguf -p "The meaning to life and the universe is"
```

### Server:
```bash
llama-server --hf-repo pablo-rf/Llama-3.1-Carballo-Q4_K_M-GGUF --hf-file llama-3.1-carballo-q4_k_m.gguf -c 2048
```

Note: You can also use this checkpoint directly through the [usage steps](https://github.com/ggerganov/llama.cpp?tab=readme-ov-file#usage) listed in the Llama.cpp repo as well.

Step 1: Clone llama.cpp from GitHub.
```
git clone https://github.com/ggerganov/llama.cpp
```

Step 2: Move into the llama.cpp folder and build it with `LLAMA_CURL=1` flag along with other hardware-specific flags (for ex: LLAMA_CUDA=1 for Nvidia GPUs on Linux).
```
cd llama.cpp && LLAMA_CURL=1 make
```

Step 3: Run inference through the main binary.
```
./llama-cli --hf-repo pablo-rf/Llama-3.1-Carballo-Q4_K_M-GGUF --hf-file llama-3.1-carballo-q4_k_m.gguf -p "The meaning to life and the universe is"
```
or 
```
./llama-server --hf-repo pablo-rf/Llama-3.1-Carballo-Q4_K_M-GGUF --hf-file llama-3.1-carballo-q4_k_m.gguf -c 2048
```