支持新数据集
尽管 OpenCompass 已经包含了大多数常用数据集,用户在支持新数据集的时候需要完成以下几个步骤:
在
opencompass/datasets
文件夹新增数据集脚本mydataset.py
, 该脚本需要包含:- 数据集及其加载方式,需要定义一个
MyDataset
类,实现数据集加载方法load
,该方法为静态方法,需要返回datasets.Dataset
类型的数据。这里我们使用 huggingface dataset 作为数据集的统一接口,避免引入额外的逻辑。具体示例如下:
import datasets from .base import BaseDataset class MyDataset(BaseDataset): @staticmethod def load(**kwargs) -> datasets.Dataset: pass
- (可选)如果 OpenCompass 已有的评测器不能满足需要,需要用户定义
MyDatasetlEvaluator
类,实现评分方法score
,需要根据输入的predictions
和references
列表,得到需要的字典。由于一个数据集可能存在多种 metric,需要返回一个 metrics 以及对应 scores 的相关字典。具体示例如下:
from opencompass.openicl.icl_evaluator import BaseEvaluator class MyDatasetlEvaluator(BaseEvaluator): def score(self, predictions: List, references: List) -> dict: pass
- (可选)如果 OpenCompass 已有的后处理方法不能满足需要,需要用户定义
mydataset_postprocess
方法,根据输入的字符串得到相应后处理的结果。具体示例如下:
def mydataset_postprocess(text: str) -> str: pass
- 数据集及其加载方式,需要定义一个
在定义好数据集加载、评测以及数据后处理等方法之后,需要在配置文件中新增以下配置:
from opencompass.datasets import MyDataset, MyDatasetlEvaluator, mydataset_postprocess mydataset_eval_cfg = dict( evaluator=dict(type=MyDatasetlEvaluator), pred_postprocessor=dict(type=mydataset_postprocess)) mydataset_datasets = [ dict( type=MyDataset, ..., reader_cfg=..., infer_cfg=..., eval_cfg=mydataset_eval_cfg) ]