nicolasdec
commited on
Commit
•
79b6bb2
1
Parent(s):
e24cd6a
Update README.md
Browse files
README.md
CHANGED
@@ -1,14 +1,56 @@
|
|
1 |
---
|
2 |
-
license: cc
|
3 |
language:
|
4 |
- pt
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
5 |
---
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
6 |
|
7 |
-
|
8 |
|
9 |
-
|
10 |
|
11 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
12 |
|-----------------------------|-------|--------------------------|------|----------------------|------|
|
13 |
|assin2_rte |f1_macro|0.9091 |0.0041|0.9036 |0.0042|
|
14 |
| |acc |0.9093 |0.0041|0.9036 |0.0042|
|
@@ -24,3 +66,4 @@ Evals
|
|
24 |
|oab_exams |acc |0.5062 |0.0062|0.4911 |0.0062|
|
25 |
|portuguese_hate_speech_binary|f1_macro|0.5982 |0.0120|0.5954 |0.0120|
|
26 |
| |acc |0.5993 |0.0119|0.5993 |0.0119|
|
|
|
|
1 |
---
|
|
|
2 |
language:
|
3 |
- pt
|
4 |
+
- en
|
5 |
+
license: cc-by-nc-2.0
|
6 |
+
tags:
|
7 |
+
- text-generation-inference
|
8 |
+
- transformers
|
9 |
+
- llama
|
10 |
+
- gguf
|
11 |
+
- brazil
|
12 |
+
- brasil
|
13 |
+
- 8b
|
14 |
+
- portuguese
|
15 |
+
base_model: meta-llama/Meta-Llama-3-8B-Instruct
|
16 |
+
pipeline_tag: text-generation
|
17 |
+
|
18 |
---
|
19 |
+
# Cabra Llama-3 8B
|
20 |
+
<img src="https://uploads-ssl.webflow.com/65f77c0240ae1c68f8192771/6627fb36d544dd8ea250136a_llama38b.png" width="300" height="300">
|
21 |
+
|
22 |
+
Cabra Llama-3 8b é um finetune do [Meta-Llama-3-8B-Instruct](https://huggingface.co/meta-llama/Meta-Llama-3-8B-Instruct) com o dataset Cabra 30k. Esse modelo é otimizado para português e responde em portuguese.
|
23 |
+
|
24 |
+
**Conheça os nossos outros [modelos Cabra](https://huggingface.co/collections/botbot-ai/models-6604c2069ceef04f834ba99b).**
|
25 |
+
|
26 |
+
## Detalhes do modelo base
|
27 |
+
|
28 |
+
### Modelo: Meta-Llama-3-8B-Instruct
|
29 |
+
|
30 |
+
|
31 |
+
A Meta desenvolveu e lançou a família de modelos Llama 3, uma coleção de modelos de texto generativos pré-treinados e ajustados por instruções nos tamanhos de 8B e 70B. Os modelos Llama 3 ajustados por instruções são otimizados para casos de uso em diálogos e superam muitos dos modelos de chat de código aberto disponíveis em benchmarks comuns da indústria. Além disso, ao desenvolver esses modelos, tomamos grande cuidado para otimizar a utilidade e a segurança.
|
32 |
+
|
33 |
+
Arquitetura do Modelo: Llama 3 é um modelo de linguagem auto-regressivo que usa uma arquitetura de transformador otimizada. As versões ajustadas utilizam o aprimoramento supervisionado (SFT) e aprendizado por reforço com feedback humano (RLHF) para se alinhar às preferências humanas quanto à utilidade e segurança.
|
34 |
|
35 |
+
### dataset: Cabra 30k
|
36 |
|
37 |
+
Dataset interno para fine-tuning. Vamos lançar em breve.
|
38 |
|
39 |
+
### Quantização / GGUF
|
40 |
+
|
41 |
+
Colocamos diversas versões (GGUF) quantanizadas no branch "quantanization".
|
42 |
+
|
43 |
+
## Uso
|
44 |
+
O modelo é destinado, por agora, a fins de pesquisa. As áreas e tarefas de pesquisa possíveis incluem:
|
45 |
+
|
46 |
+
- Pesquisa sobre modelos gerativos.
|
47 |
+
- Investigação e compreensão das limitações e vieses de modelos gerativos.
|
48 |
+
|
49 |
+
**Proibido para uso comercial. Somente Pesquisa. Entre em contato para mais informações. **
|
50 |
+
|
51 |
+
### Avaliações / Evals
|
52 |
+
|
53 |
+
| Tasks |Metric |LLAMA3 Base Instruct Value|Stderr|Finetune Cabra Value|Stderr|
|
54 |
|-----------------------------|-------|--------------------------|------|----------------------|------|
|
55 |
|assin2_rte |f1_macro|0.9091 |0.0041|0.9036 |0.0042|
|
56 |
| |acc |0.9093 |0.0041|0.9036 |0.0042|
|
|
|
66 |
|oab_exams |acc |0.5062 |0.0062|0.4911 |0.0062|
|
67 |
|portuguese_hate_speech_binary|f1_macro|0.5982 |0.0120|0.5954 |0.0120|
|
68 |
| |acc |0.5993 |0.0119|0.5993 |0.0119|
|
69 |
+
|