|
from mmengine.config import read_base |
|
|
|
with read_base(): |
|
from .groups.lveval import lveval_summary_groups |
|
|
|
summarizer = dict( |
|
dataset_abbrs=[ |
|
"----------------------------------------", |
|
"--------- LVEval All ---------", |
|
"----------------------------------------", |
|
"LVEval_qa", |
|
"----------------------------------------", |
|
"--------- LVEval Tasks All ---------", |
|
"----------------------------------------", |
|
"LVEval_single_hop_qa", |
|
"LVEval_single_hop_cqa", |
|
"LVEval_multi_hop_qa", |
|
"LVEval_multi_hop_cqa", |
|
"LVEval_factrecall_cqa", |
|
"----------------------------------------", |
|
"--------- LVEval Datasets All ---------", |
|
"----------------------------------------", |
|
"LVEval_loogle_SD_mixup", |
|
"LVEval_cmrc_mixup", |
|
"LVEval_multifieldqa_en_mixup", |
|
"LVEval_multifieldqa_zh_mixup", |
|
"LVEval_dureader_mixup", |
|
"LVEval_loogle_CR_mixup", |
|
"LVEval_loogle_MIR_mixup", |
|
"LVEval_hotpotwikiqa_mixup", |
|
"LVEval_lic_mixup", |
|
"LVEval_factrecall_en", |
|
"LVEval_factrecall_zh", |
|
"----------------------------------------", |
|
"--------- LVEval Single_Hop QA ---------", |
|
"----------------------------------------", |
|
"LVEval_loogle_SD_mixup_16k", |
|
"LVEval_loogle_SD_mixup_32k", |
|
"LVEval_loogle_SD_mixup_64k", |
|
"LVEval_loogle_SD_mixup_128k", |
|
"LVEval_loogle_SD_mixup_256k", |
|
"----------------------------------------", |
|
"LVEval_cmrc_mixup_16k", |
|
"LVEval_cmrc_mixup_32k", |
|
"LVEval_cmrc_mixup_64k", |
|
"LVEval_cmrc_mixup_128k", |
|
"LVEval_cmrc_mixup_256k", |
|
"----------------------------------------", |
|
"--------- LVEval Single_Hop CQA ---------", |
|
"----------------------------------------", |
|
"LVEval_multifieldqa_en_mixup_16k", |
|
"LVEval_multifieldqa_en_mixup_32k", |
|
"LVEval_multifieldqa_en_mixup_64k", |
|
"LVEval_multifieldqa_en_mixup_128k", |
|
"LVEval_multifieldqa_en_mixup_256k", |
|
"----------------------------------------", |
|
"LVEval_multifieldqa_zh_mixup_16k", |
|
"LVEval_multifieldqa_zh_mixup_32k", |
|
"LVEval_multifieldqa_zh_mixup_64k", |
|
"LVEval_multifieldqa_zh_mixup_128k", |
|
"LVEval_multifieldqa_zh_mixup_256k", |
|
"----------------------------------------", |
|
"--------- LVEval Multi_Hop QA ---------", |
|
"----------------------------------------", |
|
"LVEval_dureader_mixup_16k", |
|
"LVEval_dureader_mixup_32k", |
|
"LVEval_dureader_mixup_64k", |
|
"LVEval_dureader_mixup_128k", |
|
"LVEval_dureader_mixup_256k", |
|
"----------------------------------------", |
|
"LVEval_loogle_CR_mixup_16k", |
|
"LVEval_loogle_CR_mixup_32k", |
|
"LVEval_loogle_CR_mixup_64k", |
|
"LVEval_loogle_CR_mixup_128k", |
|
"LVEval_loogle_CR_mixup_256k", |
|
"----------------------------------------", |
|
"LVEval_loogle_MIR_mixup_16k", |
|
"LVEval_loogle_MIR_mixup_32k", |
|
"LVEval_loogle_MIR_mixup_64k", |
|
"LVEval_loogle_MIR_mixup_128k", |
|
"LVEval_loogle_MIR_mixup_256k", |
|
"----------------------------------------", |
|
"--------- LVEval Multi_Hop CQA ---------", |
|
"----------------------------------------", |
|
"LVEval_hotpotwikiqa_mixup_16k", |
|
"LVEval_hotpotwikiqa_mixup_32k", |
|
"LVEval_hotpotwikiqa_mixup_64k", |
|
"LVEval_hotpotwikiqa_mixup_128k", |
|
"LVEval_hotpotwikiqa_mixup_256k", |
|
"----------------------------------------", |
|
"LVEval_lic_mixup_16k", |
|
"LVEval_lic_mixup_32k", |
|
"LVEval_lic_mixup_64k", |
|
"LVEval_lic_mixup_128k", |
|
"LVEval_lic_mixup_256k", |
|
"----------------------------------------", |
|
"--------- LVEval Factrecall CQA ---------", |
|
"----------------------------------------", |
|
"LVEval_factrecall_en_16k", |
|
"LVEval_factrecall_en_32k", |
|
"LVEval_factrecall_en_64k", |
|
"LVEval_factrecall_en_128k", |
|
"LVEval_factrecall_en_256k", |
|
"----------------------------------------", |
|
"LVEval_factrecall_zh_16k", |
|
"LVEval_factrecall_zh_32k", |
|
"LVEval_factrecall_zh_64k", |
|
"LVEval_factrecall_zh_128k", |
|
"LVEval_factrecall_zh_256k", |
|
], |
|
summary_groups=sum( |
|
[v for k, v in locals().items() if k.endswith("_summary_groups")], [] |
|
), |
|
) |
|
|
