rhaymison commited on
Commit
5cee768
1 Parent(s): 37eb397

Create README.md

Browse files
Files changed (1) hide show
  1. README.md +85 -0
README.md ADDED
@@ -0,0 +1,85 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ language:
3
+ - pt
4
+ license: apache-2.0
5
+ library_name: transformers
6
+ tags:
7
+ - Misral
8
+ - Portuguese
9
+ - 7b
10
+ base_model: mistralai/Mistral-7B-Instruct-v0.2
11
+ datasets:
12
+ - pablo-moreira/gpt4all-j-prompt-generations-pt
13
+ - rhaymison/superset
14
+ ---
15
+
16
+ # Mistral portuguese luana 7b f16 GUFF
17
+
18
+ <p align="center">
19
+ <img src="https://raw.githubusercontent.com/rhaymisonbetini/huggphotos/main/luana7b.webp" width="50%" style="margin-left:'auto' margin-right:'auto' display:'block'"/>
20
+ </p>
21
+
22
+ This GGUF model, derived from the Mixtrla Luana 7b, has been quantized in Q8/8bits. The model was trained with a superset of 200,000 instructions in Portuguese, aiming to help fill the gap in models available in Portuguese. Tuned from the Mistral 7b, this model has been primarily adjusted for instructional tasks.
23
+
24
+ Remember that verbs are important in your prompt. Tell your model how to act or behave so that you can guide them along the path of their response.
25
+ Important points like these help models (even smaller models like 7b) to perform much better.
26
+
27
+ ```python
28
+ !git lfs install
29
+ !pip install langchain
30
+ !pip install langchain-community langchain-core
31
+ !pip install llama-cpp-python
32
+
33
+ !git clone https://huggingface.co/rhaymison/Mistral-portuguese-luana-7b-f16-gguf
34
+
35
+ def llamacpp():
36
+ from langchain.llms import LlamaCpp
37
+ from langchain.prompts import PromptTemplate
38
+ from langchain.chains import LLMChain
39
+
40
+ llm = LlamaCpp(
41
+ model_path="/content/Mistral-portuguese-luana-7b-f16-gguf.gguf",
42
+ n_gpu_layers=40,
43
+ n_batch=512,
44
+ verbose=True,
45
+ )
46
+
47
+ template = """<s>[INST] Abaixo está uma instrução que descreve uma tarefa, juntamente com uma entrada que fornece mais contexto.
48
+ Escreva uma resposta que complete adequadamente o pedido.
49
+ ### {question}
50
+ [/INST]"""
51
+
52
+ prompt = PromptTemplate(template=template, input_variables=["question"])
53
+
54
+ llm_chain = LLMChain(prompt=prompt, llm=llm)
55
+
56
+ question = "instrução: aja como um professor de matemática e me explique porque 2 + 2 = 4?"
57
+ response = llm_chain.run({"question": question})
58
+ print(response)
59
+
60
+ ```
61
+ Output:
62
+ ```text
63
+ Hoje, vamos resolver uma das questões mais básicas na matemática: "por que 2 + 2 = 4?"
64
+ Para entender por que 2 + 2 = 4, precisamos entender o conceito de adição.
65
+ A adição é a maneira de combinar dois ou mais números para formar um novo número chamado soma.
66
+ Neste caso, estamos adicionando dois números: 2 e 2.
67
+ Quando adicionamos 2 + 2, resultamos em uma soma de 4.
68
+ Portanto, por que 2 + 2 = 4?
69
+ Simplesmente porque somos adicionando dois números, 2 e 2, para formar um novo número chamado soma. E a soma de 2 + 2 é 4.
70
+ ```
71
+
72
+ ### Comments
73
+
74
+ Any idea, help or report will always be welcome.
75
+
76
77
+
78
+ <div style="display:flex; flex-direction:row; justify-content:left">
79
+ <a href="https://www.linkedin.com/in/rhaymison-cristian-betini-2b3016175/" target="_blank">
80
+ <img src="https://img.shields.io/badge/LinkedIn-0077B5?style=for-the-badge&logo=linkedin&logoColor=white">
81
+ </a>
82
+ <a href="https://github.com/rhaymisonbetini" target="_blank">
83
+ <img src="https://img.shields.io/badge/GitHub-100000?style=for-the-badge&logo=github&logoColor=white">
84
+ </a>
85
+ </div>