task_categories:reinforcement-learning language:zh license:mit arxiv:2204.05862 region:us
---
dataset_info:
  features:
  - name: context
    list:
    - name: role
      dtype: string
    - name: text
      dtype: string
  - name: chosen
    struct:
    - name: role
      dtype: string
    - name: text
      dtype: string
  - name: rejected
    struct:
    - name: role
      dtype: string
    - name: text
      dtype: string
  splits:
  - name: train
    num_bytes: 302431699
    num_examples: 344317
  download_size: 178897699
  dataset_size: 302431699
configs:
- config_name: default
  data_files:
  - split: train
    path: data/train-*
license: mit
task_categories:
- reinforcement-learning
language:
- zh
---
# Dataset Card for "hh_rlhf-chinese-zhtw"

此數據集合併了下列的資料:

1. 關於有用且無害的人類偏好數據，來自 [Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback](https://arxiv.org/abs/2204.05862)。這些數據旨在為後續 RLHF 訓練訓練偏好（或獎勵）模型。這些資料*不*用於對話代理人的監督訓練。根據這些資料訓練對話代理可能會導致有害的模型，這種情況應該避免。
3. 人工生成並帶註釋的紅隊對話，來自[減少危害的紅隊語言模型：方法、擴展行為和經驗教訓](https://www.anthropic.com/red_teaming.pdf)。這些數據旨在了解眾包紅隊如何建模以及哪些類型的紅隊攻擊成功或失敗。這些數據*不*用於微調或偏好建模（使用上面的數據進行偏好建模）。這些數據是從上述無害偏好建模數據導出的對話的完整轉錄本，其中僅將所選響應合併到整個轉錄本中。此外，文字記錄也透過人工和自動測量來標註整個對話的危害程度。

## 特別注意

數據（尤其是無害偏好數據和紅隊數據）包含可能令人反感或令人不安的內容。主題包括但不限於歧視性語言以及對虐待、暴力、自殘、剝削和其他可能令人不安的主題的討論。

請僅根據您個人的風險承受能力來處理資料。這些數據旨在用於研究目的，特別是可以使模型「減少」危害的研究。

如上所述，這些資料「不」該用於訓練對話代理，因為這可能會導致有害的模型行為。

## 原始數據

原作者在 GitHub 上託管此資料集：https://github.com/anthropics/hh-rlhf

## 轉譯來源

本數據集來自 [dikw/hh_rlhf_cn](https://huggingface.co/datasets/dikw/hh_rlhf_cn) 并使用了 OpenCC 來進行簡繁轉譚。

基於 Anthropic 論文 Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback 開源的 helpful 和 harmless 數據，使用翻譯工具進行了翻譯。

- `hh_rlhf_train.jsonl` 合併中英文訓練集資料 清洗過後 17 萬條
- `hh_rlhf_test.jsonl` 合併中英文測試集資料 清洗過後 9 千條
- `harmless_base_cn_train.jsonl` 42394 條
- `harmless_base_cn_test.jsonl` 2304 條
- `helpful_base_cn_train.jsonl` 43722 條
- `helpful_base_cn_test.jsonl` 2346 條


