metadata

language:
  - pt
  - en
license: cc-by-nc-2.0
tags:
  - text-generation-inference
  - transformers
  - llama
  - gguf
  - brazil
  - brasil
  - 8b
  - portuguese
base_model: meta-llama/Meta-Llama-3-8B-Instruct
pipeline_tag: text-generation

Cabra Llama-3 8B

Cabra Llama-3 8b é um finetune do Meta-Llama-3-8B-Instruct com o dataset Cabra 30k. Esse modelo é otimizado para português e responde em portuguese.

Conheça os nossos outros modelos Cabra.

Detalhes do modelo base

Modelo: Meta-Llama-3-8B-Instruct

A Meta desenvolveu e lançou a família de modelos Llama 3, uma coleção de modelos de texto generativos pré-treinados e ajustados por instruções nos tamanhos de 8B e 70B. Os modelos Llama 3 ajustados por instruções são otimizados para casos de uso em diálogos e superam muitos dos modelos de chat de código aberto disponíveis em benchmarks comuns da indústria. Além disso, ao desenvolver esses modelos, tomamos grande cuidado para otimizar a utilidade e a segurança.

Arquitetura do Modelo: Llama 3 é um modelo de linguagem auto-regressivo que usa uma arquitetura de transformador otimizada. As versões ajustadas utilizam o aprimoramento supervisionado (SFT) e aprendizado por reforço com feedback humano (RLHF) para se alinhar às preferências humanas quanto à utilidade e segurança.

dataset: Cabra 30k

Dataset interno para fine-tuning. Vamos lançar em breve.

Quantização / GGUF

Colocamos diversas versões (GGUF) quantanizadas no branch "quantanization".

Uso

O modelo é destinado, por agora, a fins de pesquisa. As áreas e tarefas de pesquisa possíveis incluem:

Pesquisa sobre modelos gerativos.
Investigação e compreensão das limitações e vieses de modelos gerativos.

**Proibido para uso comercial. Somente Pesquisa. Entre em contato para mais informações. **

Avaliações / Evals

Tasks	Metric	LLAMA3 Base Instruct Value	Stderr	Finetune Cabra Value	Stderr
assin2_rte	f1_macro	0.9091	0.0041	0.9036	0.0042
	acc	0.9093	0.0041	0.9036	0.0042
assin2_sts	pearson	0.7517	0.0074	0.6989	0.0082
	mse	0.5985	N/A	0.6958	N/A
bluex	acc	0.5786	0.0106	0.5786	0.0106
	...	...	...	...	...
enem	acc	0.7012	0.0070	0.7439	0.0067
faquad_nli	f1_macro	0.7516	0.0132	0.6988	0.0139
	acc	0.7938	0.0112	0.7508	0.0120
hatebr_offensive_binary	f1_macro	0.8699	0.0064	0.8528	0.0067
	acc	0.8700	0.0064	0.8536	0.0067
oab_exams	acc	0.5062	0.0062	0.4911	0.0062
portuguese_hate_speech_binary	f1_macro	0.5982	0.0120	0.5954	0.0120
	acc	0.5993	0.0119	0.5993	0.0119