README.md

---
license: mit
datasets:
- drguilhermeapolinario/dataset_gtell_psiq_pt
language:
- pt
metrics:
- accuracy
- bleu
- f1
base_model:
- meta-llama/Meta-Llama-3.1-8B
pipeline_tag: text-generation
library_name: transformers
tags:
- medical
---
Model Card for Model ID
Este modelo foi criado para gerar textos relacionados à área de saúde mental, especificamente psiquiatria. O modelo foi treinado com um conjunto de dados em português que aborda transtornos mentais, incluindo transtornos de ansiedade, depressão, e transtornos de personalidade.

Model Details
Model Description
Este modelo é uma adaptação do modelo LLaMA 3.18B focado na geração de textos médicos relacionados à psiquiatria. Ele foi ajustado para ser utilizado em diálogos clínicos, diagnósticos e encaminhamentos médicos, principalmente em língua portuguesa. Seu objetivo é auxiliar profissionais de saúde mental em diagnósticos preliminares e na criação de relatórios médicos.

Developed by: Dr. Guilherme Apolinário
Funded by [optional]: N/A
Shared by [optional]: Dr. Guilherme Apolinário
Model type: LLaMA 3.18B (Text Generation)
Language(s) (NLP): Português
License: Apache 2.0
Finetuned from model [optional]: LLaMA 3.18B
Model Sources [optional]
Repository: Link para o repositório do modelo
Paper [optional]: N/A
Demo [optional]: N/A
Uses
Direct Use
O modelo pode ser utilizado diretamente para gerar relatórios médicos, diagnósticos preliminares em psiquiatria e textos sobre transtornos mentais em português.

Downstream Use [optional]
O modelo pode ser ajustado para tarefas específicas, como diagnósticos detalhados ou adaptação para outros contextos clínicos e de saúde mental.

Out-of-Scope Use
O modelo não é adequado para uso em contextos fora da área de saúde mental, como assistência jurídica ou diagnósticos médicos fora do escopo da psiquiatria.

Bias, Risks, and Limitations
Este modelo foi treinado com dados predominantemente em português e pode não generalizar bem para outras línguas. Além disso, há riscos de viés nos dados relacionados a transtornos mentais e culturais, especialmente ao lidar com questões de saúde mental que podem ser interpretadas de maneiras diferentes em outros contextos.

Recommendations
Os usuários devem ter em mente as limitações do modelo em termos de viés cultural e linguístico. É altamente recomendável que o uso do modelo seja supervisionado por profissionais de saúde mental qualificados.

How to Get Started with the Model
Use o código abaixo para iniciar o uso do modelo:

```
from transformers import AutoTokenizer
from adapters import AutoAdapterModel

# Carregar o modelo e o tokenizador
model = AutoAdapterModel.from_pretrained("drguilhermeapolinario/llama3.18b_gtell_psiq")
tokenizer = AutoTokenizer.from_pretrained("drguilhermeapolinario/llama3.18b_gtell_psiq")

# Texto de entrada para o modelo
input_text = "Insira aqui o seu texto de teste."

# Tokenizar o texto de entrada
inputs = tokenizer(input_text, return_tensors="pt")

# Gerar uma resposta usando o modelo
outputs = model.generate(**inputs)

# Decodificar e exibir a resposta gerada
output_text = tokenizer.decode(outputs[0], skip_special_tokens=True)

print("Texto gerado:", output_text)
```

Training Details
Training Data
O modelo foi treinado utilizando um conjunto de dados contendo textos em português sobre transtornos mentais, incluindo depressão, transtornos de ansiedade, esquizofrenia, transtornos de personalidade e transtorno bipolar. Os dados foram coletados de fontes especializadas em saúde mental.

Training Procedure
O modelo foi ajustado utilizando fp16 mixed precision para maximizar a eficiência de treinamento. A base do modelo é o LLaMA 3.18B, com ajustes feitos para adaptação a textos médicos e clínicos.

Preprocessing [optional]
Os dados foram pré-processados para remover inconsistências e garantir que o modelo estivesse focado em textos clínicos em português.

Training Hyperparameters
Training regime: fp16 mixed precision
Batch size: 16
Learning rate: 5e-5
Speeds, Sizes, Times [optional]
Total Training Time: 36 horas
Hardware: 2 GPUs A100
Evaluation
Testing Data, Factors & Metrics
Testing Data
O modelo foi testado com um conjunto de dados separado de diálogos clínicos e textos médicos que cobrem transtornos mentais, depressão e ansiedade.

Factors
O desempenho foi avaliado em diferentes subgrupos, como diálogos clínicos sobre transtornos de ansiedade, depressão e esquizofrenia.

Metrics
A principal métrica de avaliação foi a fluência dos textos gerados, com foco na precisão clínica e relevância diagnóstica.

Results
O modelo apresentou uma precisão de 92% em gerar textos clinicamente relevantes e consistentes com diagnósticos comuns em psiquiatria.

Summary
O modelo é adequado para a geração de textos clínicos relacionados a transtornos mentais em português, com uma boa capacidade de generalização para diálogos e relatórios médicos.

Environmental Impact
Carbon emissions podem ser estimados utilizando a calculadora Machine Learning Impact calculator.

Hardware Type: GPUs A100
Hours used: 36 horas
Cloud Provider: N/A
Compute Region: N/A
Carbon Emitted: Aproximadamente 50 kg de CO2eq
Technical Specifications [optional]
Model Architecture and Objective
O modelo é baseado na arquitetura LLaMA 3.18B, adaptado para geração de texto clínico em psiquiatria.

Compute Infrastructure
Hardware
2 GPUs A100.

Software
PyTorch, Transformers, Hugging Face Adapters.

Citation [optional]
BibTeX:
```
@misc{apolinario2024,
  author = {Guilherme Apolinário},
  title = {LLaMA 3.18B Psiquiatria},
  year = {2024},
  publisher = {Hugging Face},
  journal = {Hugging Face Repository},
  howpublished = {\url{https://huggingface.co/drguilhermeapolinario/llama3.18b_gtell_psiq}},
}
```