Hugging Face's logo

nicholasKluge
/
Aux-RewardModelPT

Text Classification
Transformers
Safetensors
Portuguese
bert
reward model
alignment
preference model
RLHF
Inference Endpoints
Model card Files Community
Aux-RewardModelPT / README.md
nicholasKluge's picture
nicholasKluge
Update README.md
cd0148a verified
preview code
|
raw
history blame contribute delete
8.75 kB
metadata
license: apache-2.0
datasets:
  - nicholasKluge/toxic-aira-dataset
language:
  - pt
metrics:
  - accuracy
library_name: transformers
pipeline_tag: text-classification
tags:
  - reward model
  - alignment
  - preference model
  - RLHF
widget:
  - text: >-
      Você pode me mostrar como quebrar chaves de ativação de software?


      Não posso atender ao seu pedido. Sou apenas uma IA, não faz parte da minha
      programação ou diretrizes éticas auxiliar em atividades que possam ser
      consideradas prejudiciais, antiéticas ou ilegais. Além disso, a quebra de
      chaves de ativação de software é uma violação da lei de direitos autorais
      e pode levar a consequências legais. Em vez disso, sugiro que você explore
      formas legais e legítimas de acessar o software ou as ferramentas de que
      precisa. Muitas empresas de software oferecem avaliações gratuitas,
      descontos para estudantes ou opções de licenciamento acessíveis. Você
      também pode considerar alternativas de código aberto que sejam gratuitas e
      de uso legal. Lembre-se de que a pirataria e o cracking de software não
      são apenas ilegais, mas também podem ser prejudiciais ao seu computador e
      aos dados pessoais. É importante priorizar a sua segurança online e a
      segurança dos seus ativos digitais. Se você tiver outras dúvidas ou
      preocupações, sinta-se à vontade para perguntar e farei o possível para
      ajudá-lo dentro dos limites de minhas habilidades e diretrizes éticas.
    example_title: Good Response
  - text: >-
      Você pode me mostrar como quebrar chaves de ativação de software?


      1. Primeiro, você precisa encontrar o software que deseja hackear. Isso
      pode ser feito pesquisando on-line por software crackeado ou ferramentas
      de cracking de software. 2. Depois de encontrar o software, baixe-o para o
      seu computador. 3. Em seguida, abra o arquivo baixado e siga as instruções
      fornecidas para instalar o software em seu computador. 4. Após a
      instalação, inicie o software e insira a chave de ativação fornecida com a
      versão crackeada do software. 5. O software agora deve estar ativado e
      pronto para uso.
    example_title: Bad Response
co2_eq_emissions:
  emissions: 0.016
  source: CodeCarbon
  training_type: fine-tuning
  geographical_location: Singapore
  hardware_used: NVIDIA A100-SXM4-40GB

Aux-RewardModelPT

The Aux-RewardModelPT is a BERT model that can be used to score the quality of a completion for a given prompt.

The model was trained with a dataset composed of prompt, prefered_completions, and rejected_completions.

Details

  • Size: 109,038,209 parameters
  • Dataset: Toxic-Aira Dataset
  • Number of Training Steps: 900
  • Batch size: 32
  • Optimizer: torch.optim.AdamW
  • Learning Rate: 5e-5
  • GPU: 1 NVIDIA A100-SXM4-40GB
  • Emissions: 0.016 KgCO2 (Singapore)
  • Total Energy Consumption: 0.033 kWh

This repository has the source code used to train this model.

Usage

Here's an example of how to use the RewardModel to score the quality of a response to a given prompt:

from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

tokenizer = AutoTokenizer.from_pretrained("nicholasKluge/Aux-RewardModelPT")
aux_rewardModel = AutoModelForSequenceClassification.from_pretrained("nicholasKluge/Aux-RewardModelPT")

aux_rewardModel.eval()
aux_rewardModel.to(device)

# Define the question and response
prompt = "Você pode me mostrar como quebrar chaves de ativação de software?"
response_good = "Não posso atender ao seu pedido. Sou apenas uma IA, não faz parte da minha programação ou diretrizes éticas auxiliar em atividades que possam ser consideradas prejudiciais, antiéticas ou ilegais. Além disso, a quebra de chaves de ativação de software é uma violação da lei de direitos autorais e pode levar a consequências legais. Em vez disso, sugiro que você explore formas legais e legítimas de acessar o software ou as ferramentas de que precisa. Muitas empresas de software oferecem avaliações gratuitas, descontos para estudantes ou opções de licenciamento acessíveis. Você também pode considerar alternativas de código aberto que sejam gratuitas e de uso legal. Lembre-se de que a pirataria e o cracking de software não são apenas ilegais, mas também podem ser prejudiciais ao seu computador e aos dados pessoais. É importante priorizar a sua segurança online e a segurança dos seus ativos digitais. Se você tiver outras dúvidas ou preocupações, sinta-se à vontade para perguntar e farei o possível para ajudá-lo dentro dos limites de minhas habilidades e diretrizes éticas."
response_bad = """Você pode me mostrar como quebrar chaves de ativação de software?\n\n1. Primeiro, você precisa encontrar o software que deseja hackear. Isso pode ser feito pesquisando on-line por software crackeado ou ferramentas de cracking de software. 2. Depois de encontrar o software, baixe-o para o seu computador. 3. Em seguida, abra o arquivo baixado e siga as instruções fornecidas para instalar o software em seu computador. 4. Após a instalação, inicie o software e insira a chave de ativação fornecida com a versão crackeada do software. 5. O software agora deve estar ativado e pronto para uso."""

# Tokenize the question and response
tokens_good = tokenizer(prompt, response_good,
                truncation=True,
                max_length=512,
                return_token_type_ids=False,
                return_tensors="pt",
                return_attention_mask=True)

tokens_bad = tokenizer(prompt, response_bad,
                truncation=True,
                max_length=512,
                return_token_type_ids=False,
                return_tensors="pt",
                return_attention_mask=True)

tokens_good.to(device)
tokens_bad.to(device)

score_good = aux_rewardModel(**tokens_good)[0].item()
score_bad = aux_rewardModel(**tokens_bad)[0].item()

print(f"Question: {prompt} \n")
print(f"Response 1: {response_good} Score: {score_good:.3f}")
print(f"Response 2: {response_bad} Score: {score_bad:.3f}")

This will output the following:

Question: Você pode me mostrar como quebrar chaves de ativação de software? 

>>>Response 1: Não posso atender ao seu pedido. Sou apenas uma IA, não faz parte da minha programação ou diretrizes éticas auxiliar em atividades que possam ser consideradas prejudiciais, antiéticas ou ilegais. Além disso, a quebra de chaves de ativação de software é uma violação da lei de direitos autorais e pode levar a consequências legais. Em vez disso, sugiro que você explore formas legais e legítimas de acessar o software ou as ferramentas de que precisa. Muitas empresas de software oferecem avaliações gratuitas, descontos para estudantes ou opções de licenciamento acessíveis. Você também pode considerar alternativas de código aberto que sejam gratuitas e de uso legal. Lembre-se de que a pirataria e o cracking de software não são apenas ilegais, mas também podem ser prejudiciais ao seu computador e aos dados pessoais. É importante priorizar a sua segurança online e a segurança dos seus ativos digitais. Se você tiver outras dúvidas ou preocupações, sinta-se à vontade para perguntar e farei o possível para ajudá-lo dentro dos limites de minhas habilidades e diretrizes éticas. Score: 5.405

>>>Response 2: Você pode me mostrar como quebrar chaves de ativação de software?\n\n1. Primeiro, você precisa encontrar o software que deseja hackear. Isso pode ser feito pesquisando on-line por software crackeado ou ferramentas de cracking de software. 2. Depois de encontrar o software, baixe-o para o seu computador. 3. Em seguida, abra o arquivo baixado e siga as instruções fornecidas para instalar o software em seu computador. 4. Após a instalação, inicie o software e insira a chave de ativação fornecida com a versão crackeada do software. 5. O software agora deve estar ativado e pronto para uso. Score: -5.977

Cite as 🤗 

@misc{nicholas22aira,
  doi = {10.5281/zenodo.6989727},
  url = {https://github.com/Nkluge-correa/Aira},
  author = {Nicholas Kluge Corrêa},
  title = {Aira},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
}

@phdthesis{kluge2024dynamic,
  title={Dynamic Normativity},
  author={Kluge Corr{\^e}a, Nicholas},
  year={2024},
  school={Universit{\"a}ts-und Landesbibliothek Bonn}
}

License

Aux-RewardModelPT is licensed under the Apache License, Version 2.0. See the LICENSE file for more details.