pablo-rf's picture
Upload README.md with huggingface_hub
da0e574 verified
metadata
language:
  - gl
  - es
  - en
  - cat
  - pt
licence:
  - MIT
tags:
  - galician
  - Llama
  - llama-cpp
  - gguf-my-repo
license: llama3.1
inference:
  parameters:
    top_k: 10
    do_sample: true
    temperature: 0.4
widget:
  - text: |-
      Traduce ao galego esta frase en inglés:
      Inglés: "my sister is studying Biology at the university."
      Galego: "a miña irmá está a estudar bioloxía na universidade."
      ----
      Traduce ao galego esta frase en inglés:
      Inglés: "You are working with my mother on a very interesting project."
      Galego: "Estás a traballar coa miña nai nun proxecto moi interesante"
      ----
      Traduce ao galego esta frase en inglés:
      Inglés: "You have to fix the computer now"
      Galego:
    example_title: Translation
  - text: |-
      Responde á seguinte pregunta.
      Pregunta: "Cal é a capital de Noruega?"
      Resposta: "A capital de Noruega é Oslo."
      ----
      Responde á seguinte pregunta.
      Pregunta: "Cal é a moeda de Portugal"
      Resposta: "A moeda de Portugal é o euro."
      ----
      Responde á seguinte pregunta.
      Pregunta: "Cal é a capital de Suecia?"
      Resposta:
    example_title: Question&Answering
  - text: |-
      Cualifica como Positivo ou Negativo o sentimento da seguinte frase:
      Texto: "Estou moi feliz"
      Polaridade: Positivo
      ----
      Cualifica como Positivo ou Negativo o sentimento da seguinte frase:
      Texto: "Non me gusta beber cervexa"
      Polaridade: Negativo
      ----
      Cualifica como Positivo ou Negativo o sentimento da seguinte frase:
      Texto: "O meu pai detesta o seu traballo"
      Polaridade: Negativo
      ----
      Cualifica como Positivo ou Negativo  o sentimento da seguinte frase:
      Texto: "Uxía desfruta xogando ao fútbol"
      Polaridade: Positivo
      ----
      Cualifica como Positivo ou Negativo  o sentimento da seguinte frase:
      Texto: "O neno non está contento coas notas"
      Polaridade:
    example_title: Sentiment Analysis
  - text: |-
      Extrae as entidades nomeadas do seguinte texto:
      Texto: "Chámome Wolfgang e vivo en Berlin"
      Entidades: Wolfgang:PER, Berlin:LOC
      ----
      Extrae as entidades nomeadas do seguinte texto:
      Texto: "María e Miguel non teñen ningún problema"
      Entidades: María:PER, Miguel:PER
      ----
      Extrae as entidades nomeadas do seguinte texto:
      Texto: "O mellor de Barcelona é o bar do meu amigo Pablo"
      Entidades: Pablo:PER, Barcelona:LOC
      ----
      Extrae as entidades nomeadas do seguinte texto:
      Texto: "Carlos comparte cuarto con Marc"
      Entidades:
    example_title: Name Entity Recognition (NER)
  - text: A receita tradicional das filloas é
    example_title: Filloas
  - text: O neno vivía preto de
    example_title: O neno
base_model: proxectonos/Llama-3.1-Carballo
pipeline_tag: text-generation
library_name: transformers

pablo-rf/Llama-3.1-Carballo-Q4_K_M-GGUF

This model was converted to GGUF format from proxectonos/Llama-3.1-Carballo using llama.cpp via the ggml.ai's GGUF-my-repo space. Refer to the original model card for more details on the model.

Use with llama.cpp

Install llama.cpp through brew (works on Mac and Linux)

brew install llama.cpp

Invoke the llama.cpp server or the CLI.

CLI:

llama-cli --hf-repo pablo-rf/Llama-3.1-Carballo-Q4_K_M-GGUF --hf-file llama-3.1-carballo-q4_k_m.gguf -p "The meaning to life and the universe is"

Server:

llama-server --hf-repo pablo-rf/Llama-3.1-Carballo-Q4_K_M-GGUF --hf-file llama-3.1-carballo-q4_k_m.gguf -c 2048

Note: You can also use this checkpoint directly through the usage steps listed in the Llama.cpp repo as well.

Step 1: Clone llama.cpp from GitHub.

git clone https://github.com/ggerganov/llama.cpp

Step 2: Move into the llama.cpp folder and build it with LLAMA_CURL=1 flag along with other hardware-specific flags (for ex: LLAMA_CUDA=1 for Nvidia GPUs on Linux).

cd llama.cpp && LLAMA_CURL=1 make

Step 3: Run inference through the main binary.

./llama-cli --hf-repo pablo-rf/Llama-3.1-Carballo-Q4_K_M-GGUF --hf-file llama-3.1-carballo-q4_k_m.gguf -p "The meaning to life and the universe is"

or

./llama-server --hf-repo pablo-rf/Llama-3.1-Carballo-Q4_K_M-GGUF --hf-file llama-3.1-carballo-q4_k_m.gguf -c 2048