nicolasdec commited on
Commit
79b6bb2
1 Parent(s): e24cd6a

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +47 -4
README.md CHANGED
@@ -1,14 +1,56 @@
1
  ---
2
- license: cc
3
  language:
4
  - pt
 
 
 
 
 
 
 
 
 
 
 
 
 
 
5
  ---
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
6
 
7
- Llama 3 8b Instruct finetuned with Cabra 30k.
8
 
9
- Evals
10
 
11
- | Tasks |Metric |LLAMA3 Base Instruct Value|Stderr|Finetune Cabra 1 Value|Stderr|
 
 
 
 
 
 
 
 
 
 
 
 
 
 
12
  |-----------------------------|-------|--------------------------|------|----------------------|------|
13
  |assin2_rte |f1_macro|0.9091 |0.0041|0.9036 |0.0042|
14
  | |acc |0.9093 |0.0041|0.9036 |0.0042|
@@ -24,3 +66,4 @@ Evals
24
  |oab_exams |acc |0.5062 |0.0062|0.4911 |0.0062|
25
  |portuguese_hate_speech_binary|f1_macro|0.5982 |0.0120|0.5954 |0.0120|
26
  | |acc |0.5993 |0.0119|0.5993 |0.0119|
 
 
1
  ---
 
2
  language:
3
  - pt
4
+ - en
5
+ license: cc-by-nc-2.0
6
+ tags:
7
+ - text-generation-inference
8
+ - transformers
9
+ - llama
10
+ - gguf
11
+ - brazil
12
+ - brasil
13
+ - 8b
14
+ - portuguese
15
+ base_model: meta-llama/Meta-Llama-3-8B-Instruct
16
+ pipeline_tag: text-generation
17
+
18
  ---
19
+ # Cabra Llama-3 8B
20
+ <img src="https://uploads-ssl.webflow.com/65f77c0240ae1c68f8192771/6627fb36d544dd8ea250136a_llama38b.png" width="300" height="300">
21
+
22
+ Cabra Llama-3 8b é um finetune do [Meta-Llama-3-8B-Instruct](https://huggingface.co/meta-llama/Meta-Llama-3-8B-Instruct) com o dataset Cabra 30k. Esse modelo é otimizado para português e responde em portuguese.
23
+
24
+ **Conheça os nossos outros [modelos Cabra](https://huggingface.co/collections/botbot-ai/models-6604c2069ceef04f834ba99b).**
25
+
26
+ ## Detalhes do modelo base
27
+
28
+ ### Modelo: Meta-Llama-3-8B-Instruct
29
+
30
+
31
+ A Meta desenvolveu e lançou a família de modelos Llama 3, uma coleção de modelos de texto generativos pré-treinados e ajustados por instruções nos tamanhos de 8B e 70B. Os modelos Llama 3 ajustados por instruções são otimizados para casos de uso em diálogos e superam muitos dos modelos de chat de código aberto disponíveis em benchmarks comuns da indústria. Além disso, ao desenvolver esses modelos, tomamos grande cuidado para otimizar a utilidade e a segurança.
32
+
33
+ Arquitetura do Modelo: Llama 3 é um modelo de linguagem auto-regressivo que usa uma arquitetura de transformador otimizada. As versões ajustadas utilizam o aprimoramento supervisionado (SFT) e aprendizado por reforço com feedback humano (RLHF) para se alinhar às preferências humanas quanto à utilidade e segurança.
34
 
35
+ ### dataset: Cabra 30k
36
 
37
+ Dataset interno para fine-tuning. Vamos lançar em breve.
38
 
39
+ ### Quantização / GGUF
40
+
41
+ Colocamos diversas versões (GGUF) quantanizadas no branch "quantanization".
42
+
43
+ ## Uso
44
+ O modelo é destinado, por agora, a fins de pesquisa. As áreas e tarefas de pesquisa possíveis incluem:
45
+
46
+ - Pesquisa sobre modelos gerativos.
47
+ - Investigação e compreensão das limitações e vieses de modelos gerativos.
48
+
49
+ **Proibido para uso comercial. Somente Pesquisa. Entre em contato para mais informações. **
50
+
51
+ ### Avaliações / Evals
52
+
53
+ | Tasks |Metric |LLAMA3 Base Instruct Value|Stderr|Finetune Cabra Value|Stderr|
54
  |-----------------------------|-------|--------------------------|------|----------------------|------|
55
  |assin2_rte |f1_macro|0.9091 |0.0041|0.9036 |0.0042|
56
  | |acc |0.9093 |0.0041|0.9036 |0.0042|
 
66
  |oab_exams |acc |0.5062 |0.0062|0.4911 |0.0062|
67
  |portuguese_hate_speech_binary|f1_macro|0.5982 |0.0120|0.5954 |0.0120|
68
  | |acc |0.5993 |0.0119|0.5993 |0.0119|
69
+