size_categories:100K<n<1M language:zh region:us
This new dataset is designed to solve this great NLP task and is crafted with a lot of care.
"""

# TODO: Add description of the dataset here
# You can copy an official description
_DESCRIPTION =
---
language:
- zh
size_categories:
- 100K<n<1M
viewer: true
---
# 一个简单的联通问答测试数据集

## 整体说明

这个数据集用于判断在联通 QA 数据集下，一个模型或者系统的表现。分为以下的几个方面（之后根据需求会进行调整与补充）：

1. 准确性：针对训练集中存在的联通 QA 数据，可以给出正确的答案
2. 自知性：针对一个问题，该模型可以判断这个问题是否可以回答

目前包括以下的几种数据：

1. 问答数据：抽取 1w 条联通问答数据，答案不变，作为测试数据，测试输出与原始训练数据的一致程度。
2. TODO 改写问答数据：抽取 1w 条联通问答数据，改写问题后答案不变。测试回答一致性。
3. 自我认知的数据：一共 30 条，可直接作为测试数据
4. 通用领域的拒绝回答：随机从非 firefly 数据集中抽取 3w 条中文数据，将问题答案统一成拒绝回答的格式
5. 认知判断领域：在下面的 prompt 构造中，可以回答出“否”

    ```txt
    你是一个中国联通营业厅服务人员，你应该只回答与中国联通有关的问题。请回答下面的问题你是否应该回答，如果应该回答请回答“是”，如果不应该回答请回答“否”。
    问题：{question}
    回答：
    ```

## 数据集格式

| directory | size | No.  | instruction | input | output | history       | category                  | source           |  
|--|--| --| -- | -- | -- |--|--|--|
| 数据对应目录 | 数据集大小| 编号 | 问题 prompt （一般作为问题使用） | 问题输入 |回答    | 之前的对话数据 | 数据分类标注   | 数据集来源        |
| liantong_original_sample | 10000 | 1 | 联通问答数据抽样问题 | None |联通问答数据的回答     | None | original_liantong_qa               | liantong_qa      |
| 【暂时没有准备好】 | | 2 | 联通问答数据的问题改写  | None | 联通问答数据的回答     | None | modified_liantong_qa               | liantong_qa      |
| self_cognition | 262 | 3 | 自我认知数据 | None |自我认知数据 | None     | self_recognition | self_cognition |
| alpaca_gpt4_data_zh_deny | 48818 | 4 | 非 firefly 中文通用数据集的问题 | 部分数据具有该字段的值 | 统一的拒绝回答格式 | None  | general_deny | alpaca_gpt4_data_zh |
| linzhe_mix_ys | 48448 | 5 | 林哲数据集增加新 prompt | None |来自联通问答的数据，答案为是；来自 firefly 的问题根据 prompt 格式进行修改，答案为否 | None |  cognition_estimate |  linxzhe_mix              |
| all_mix | 107528 | 6 | 以上所有数据混合数据集 | None | 以上所有数据 | None | 与原始数据相同 | 与原始数据相同 |

使用类似下面的代码则可以调用对应的数据：

```python
from datasets import load_dataset

# If the dataset is gated/private, make sure you have run huggingface-cli login
dataset = load_dataset("THU-StarLab/test_evaluation_dataset", "liantong_original_sample")
```

如果出现文件无法下载的问题，你需要进行登录。使用 python 可以利用类似如下的代码登录：

```python
import huggingface_hub

huggingface_hub.login(token="your huggingface api token") # Profile -> Settings -> Access Tokens
```

## 数据集说明

每个数据集都分成了训练集（train）、验证集（validation）与测试集（test），数据量比例为 6:2:2 。

| No. | directory | size | comment |
|--|--|--| --|
|编号| 数据对应目录 | 数据集大小| 数据集说明 |
| 1 | liantong_original_sample | 10000 | 使用 THU-StarLab/CustomerService/telecom_Q&A 中的问答数据抽取获得 |
| 2 | 【尚未准备好】 | ? | 基于 THU-StarLab/CustomerService/telecom_Q&A 的问题改写，答案不变。测试模型是否可以准确回答 |
| 3 | self_cognition | 262 | THU-StarLab/CustomerService/self_cognition |
| 4 | alpaca_gpt4_data_zh_deny | 48818 | 问题均来自 c-s-ale/alpaca-gpt4-data-zh， 答案均为“抱歉，这个问题超出了我的能力范围，我暂时无法回答。”|
| 5 | linzhe_mix_ys | 48448 | 在 THU-StarLab/CustomerService/blended_data 基础上增加一个全局 prompt："你是一个中国联通营业厅服务人员，你应该只回答与中国联通营业厅相关的业务。请回答下面的问题你是否应该回答，如果你应该回答则回复“是”，如果不应该回答则回复“否”。\n输入：{col}\n输出："，所有来自联通问答的数据答案都是 “是”，否则为“否”|
| 6 | all_mix | 107528 | 以上所有数据混合数据集 |