Edit model card

Cabra Llama-3 8B

O Cabra Llama-3 8B Γ© uma versΓ£o aprimorada do Meta-Llama-3-8B-Instruct, refinado com o uso do dataset Cabra 30k. Este modelo foi especialmente otimizado para compreender e responder em portuguΓͺs.

Experimente o modelo no nosso chat.

Conheça os nossos outros modelos e datasets, e o Cabra Llama 3 70b.

Detalhes do modelo base

Modelo: Meta-Llama-3-8B-Instruct

A Meta desenvolveu e lançou a família de modelos Llama 3, uma coleção de modelos de texto generativos pré-treinados e ajustados por instruçáes nos tamanhos de 8B e 70B. Os modelos Llama 3 ajustados por instruçáes são otimizados para casos de uso em diÑlogos e superam muitos dos modelos de chat de código aberto disponíveis em benchmarks comuns da indústria. Além disso, ao desenvolver esses modelos, tomamos grande cuidado para otimizar a utilidade e a segurança.

Arquitetura do Modelo: Llama 3 Γ© um modelo de linguagem auto-regressivo que usa uma arquitetura de transformador otimizada. As versΓ΅es ajustadas utilizam o aprimoramento supervisionado (SFT) e aprendizado por reforΓ§o com feedback humano (RLHF) para se alinhar Γ s preferΓͺncias humanas quanto Γ  utilidade e seguranΓ§a.

Dataset: Cabra 30k

Dataset interno para fine-tuning. Vamos lançar em breve.

Quantização / GGUF

Colocamos diversas versΓ΅es (GGUF) quantanizadas no branch "quantanization".

Exemplo

<s> [INST] Me conte alguns fatos interessantes sobre BrasΓ­lia. [/INST] 

BrasΓ­lia Γ© a capital do Brasil e foi projetada pelo arquiteto brasileiro Oscar Niemeyer e pelo urbanista LΓΊcio Costa. Aqui estΓ£o alguns fatos interessantes sobre BrasΓ­lia:

1. BrasΓ­lia foi construΓ­da nos anos 1960. A cidade foi construΓ­da para substituir o antigo local da capital do Brasil, Rio de Janeiro, que estava ficando muito lotado.

2. A arquitetura de BrasΓ­lia Γ© ΓΊnica e Γ© caracterizada por formas modernistas e abstratas. A cidade Γ© dividida em dois planos principais: o plano piloto, que Γ© a Γ‘rea central da cidade, e o plano terrestre, que Γ© a Γ‘rea residencial.

3. BrasΓ­lia Γ© conhecida por seus marcos icΓ΄nicos, como a Catedral Metropolitana Nossa Senhora da Aparecida, o PalΓ‘cio da Alvorada e o PalΓ‘cio do Planalto, que sΓ£o os locais de trabalho do presidente do Brasil.

4. A cidade Γ© lar do EstΓ‘dio Nacional Mane Garrincha, que recebe jogos de futebol e tem capacidade para 72.788 torcedores. O estΓ‘dio recebe o nome do famoso jogador de futebol Garrincha, que nasceu em BrasΓ­lia.

5. Brasília é uma cidade relativamente nova e tem uma população de cerca de 3 milháes de pessoas. Apesar de ser relativamente nova, a cidade é conhecida por sua cultura vibrante e é um centro de turismo, negócios e política no Brasil.
</s>

Uso

O modelo Γ© destinado, por agora, a fins de pesquisa. As Γ‘reas e tarefas de pesquisa possΓ­veis incluem:

  • Pesquisa sobre modelos gerativos.
  • Investigação e compreensΓ£o das limitaçáes e vieses de modelos gerativos.

**Proibido para uso comercial. Somente Pesquisa. Entre em contato para mais informaçáes. **

Avaliaçáes / Evals

Tasks Metric LLAMA3 Base Instruct Value Stderr Finetune Cabra Value Stderr
assin2_rte f1_macro 0.9091 0.0041 0.9036 0.0042
acc 0.9093 0.0041 0.9036 0.0042
assin2_sts pearson 0.7517 0.0074 0.6989 0.0082
mse 0.5985 N/A 0.6958 N/A
bluex acc 0.5786 0.0106 0.5786 0.0106
... ... ... ... ...
enem acc 0.7012 0.0070 0.7439 0.0067
faquad_nli f1_macro 0.7516 0.0132 0.6988 0.0139
acc 0.7938 0.0112 0.7508 0.0120
hatebr_offensive_binary f1_macro 0.8699 0.0064 0.8528 0.0067
acc 0.8700 0.0064 0.8536 0.0067
oab_exams acc 0.5062 0.0062 0.4911 0.0062
portuguese_hate_speech_binary f1_macro 0.5982 0.0120 0.5954 0.0120
acc 0.5993 0.0119 0.5993 0.0119

Open Portuguese LLM Leaderboard Evaluation Results

Detailed results can be found here and on the πŸš€ Open Portuguese LLM Leaderboard

Metric Value
Average 69.42
ENEM Challenge (No Images) 74.67
BLUEX (No Images) 56.88
OAB Exams 49.29
Assin2 RTE 90.44
Assin2 STS 69.85
FaQuAD NLI 70.38
HateBR Binary 85.05
PT Hate Speech Binary 60.10
tweetSentBR 68.08
Downloads last month
39
Safetensors
Model size
8.03B params
Tensor type
BF16
Β·
Inference Examples
This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social visibility and check back later, or deploy to Inference Endpoints (dedicated) instead.

Model tree for botbot-ai/CabraLlama3-8b

Finetuned
(441)
this model
Quantizations
2 models

Spaces using botbot-ai/CabraLlama3-8b 7

Collection including botbot-ai/CabraLlama3-8b

Evaluation results