datasets = [ [ dict( abbr='ceval-college_economics', eval_cfg=dict( evaluator=dict( type='opencompass.openicl.icl_evaluator.AccEvaluator')), infer_cfg=dict( ice_template=dict( ice_token='', template=dict( A=dict( begin='', round=[ dict( prompt= '以下是中国关于大学经济学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='A', role='BOT'), ]), B=dict( begin='', round=[ dict( prompt= '以下是中国关于大学经济学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='B', role='BOT'), ]), C=dict( begin='', round=[ dict( prompt= '以下是中国关于大学经济学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='C', role='BOT'), ]), D=dict( begin='', round=[ dict( prompt= '以下是中国关于大学经济学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='D', role='BOT'), ])), type= 'opencompass.openicl.icl_prompt_template.PromptTemplate'), inferencer=dict( type='opencompass.openicl.icl_inferencer.PPLInferencer'), retriever=dict( fix_id_list=[ 0, 1, 2, 3, 4, ], type='opencompass.openicl.icl_retriever.FixKRetriever')), name='college_economics', path='./data/ceval/formal_ceval', reader_cfg=dict( input_columns=[ 'question', 'A', 'B', 'C', 'D', ], output_column='answer', test_split='val', train_split='dev'), type='opencompass.datasets.CEvalDataset'), dict( abbr='ceval-accountant', eval_cfg=dict( evaluator=dict( type='opencompass.openicl.icl_evaluator.AccEvaluator')), infer_cfg=dict( ice_template=dict( ice_token='', template=dict( A=dict( begin='', round=[ dict( prompt= '以下是中国关于注册会计师考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='A', role='BOT'), ]), B=dict( begin='', round=[ dict( prompt= '以下是中国关于注册会计师考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='B', role='BOT'), ]), C=dict( begin='', round=[ dict( prompt= '以下是中国关于注册会计师考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='C', role='BOT'), ]), D=dict( begin='', round=[ dict( prompt= '以下是中国关于注册会计师考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='D', role='BOT'), ])), type= 'opencompass.openicl.icl_prompt_template.PromptTemplate'), inferencer=dict( type='opencompass.openicl.icl_inferencer.PPLInferencer'), retriever=dict( fix_id_list=[ 0, 1, 2, 3, 4, ], type='opencompass.openicl.icl_retriever.FixKRetriever')), name='accountant', path='./data/ceval/formal_ceval', reader_cfg=dict( input_columns=[ 'question', 'A', 'B', 'C', 'D', ], output_column='answer', test_split='val', train_split='dev'), type='opencompass.datasets.CEvalDataset'), dict( abbr='ceval-tax_accountant', eval_cfg=dict( evaluator=dict( type='opencompass.openicl.icl_evaluator.AccEvaluator')), infer_cfg=dict( ice_template=dict( ice_token='', template=dict( A=dict( begin='', round=[ dict( prompt= '以下是中国关于税务师考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='A', role='BOT'), ]), B=dict( begin='', round=[ dict( prompt= '以下是中国关于税务师考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='B', role='BOT'), ]), C=dict( begin='', round=[ dict( prompt= '以下是中国关于税务师考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='C', role='BOT'), ]), D=dict( begin='', round=[ dict( prompt= '以下是中国关于税务师考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='D', role='BOT'), ])), type= 'opencompass.openicl.icl_prompt_template.PromptTemplate'), inferencer=dict( type='opencompass.openicl.icl_inferencer.PPLInferencer'), retriever=dict( fix_id_list=[ 0, 1, 2, 3, 4, ], type='opencompass.openicl.icl_retriever.FixKRetriever')), name='tax_accountant', path='./data/ceval/formal_ceval', reader_cfg=dict( input_columns=[ 'question', 'A', 'B', 'C', 'D', ], output_column='answer', test_split='val', train_split='dev'), type='opencompass.datasets.CEvalDataset'), dict( abbr='ceval-physician', eval_cfg=dict( evaluator=dict( type='opencompass.openicl.icl_evaluator.AccEvaluator')), infer_cfg=dict( ice_template=dict( ice_token='', template=dict( A=dict( begin='', round=[ dict( prompt= '以下是中国关于医师资格考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='A', role='BOT'), ]), B=dict( begin='', round=[ dict( prompt= '以下是中国关于医师资格考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='B', role='BOT'), ]), C=dict( begin='', round=[ dict( prompt= '以下是中国关于医师资格考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='C', role='BOT'), ]), D=dict( begin='', round=[ dict( prompt= '以下是中国关于医师资格考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='D', role='BOT'), ])), type= 'opencompass.openicl.icl_prompt_template.PromptTemplate'), inferencer=dict( type='opencompass.openicl.icl_inferencer.PPLInferencer'), retriever=dict( fix_id_list=[ 0, 1, 2, 3, 4, ], type='opencompass.openicl.icl_retriever.FixKRetriever')), name='physician', path='./data/ceval/formal_ceval', reader_cfg=dict( input_columns=[ 'question', 'A', 'B', 'C', 'D', ], output_column='answer', test_split='val', train_split='dev'), type='opencompass.datasets.CEvalDataset'), dict( abbr='ceval-civil_servant', eval_cfg=dict( evaluator=dict( type='opencompass.openicl.icl_evaluator.AccEvaluator')), infer_cfg=dict( ice_template=dict( ice_token='', template=dict( A=dict( begin='', round=[ dict( prompt= '以下是中国关于公务员考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='A', role='BOT'), ]), B=dict( begin='', round=[ dict( prompt= '以下是中国关于公务员考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='B', role='BOT'), ]), C=dict( begin='', round=[ dict( prompt= '以下是中国关于公务员考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='C', role='BOT'), ]), D=dict( begin='', round=[ dict( prompt= '以下是中国关于公务员考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='D', role='BOT'), ])), type= 'opencompass.openicl.icl_prompt_template.PromptTemplate'), inferencer=dict( type='opencompass.openicl.icl_inferencer.PPLInferencer'), retriever=dict( fix_id_list=[ 0, 1, 2, 3, 4, ], type='opencompass.openicl.icl_retriever.FixKRetriever')), name='civil_servant', path='./data/ceval/formal_ceval', reader_cfg=dict( input_columns=[ 'question', 'A', 'B', 'C', 'D', ], output_column='answer', test_split='val', train_split='dev'), type='opencompass.datasets.CEvalDataset'), dict( abbr='ceval-urban_and_rural_planner', eval_cfg=dict( evaluator=dict( type='opencompass.openicl.icl_evaluator.AccEvaluator')), infer_cfg=dict( ice_template=dict( ice_token='', template=dict( A=dict( begin='', round=[ dict( prompt= '以下是中国关于注册城乡规划师考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='A', role='BOT'), ]), B=dict( begin='', round=[ dict( prompt= '以下是中国关于注册城乡规划师考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='B', role='BOT'), ]), C=dict( begin='', round=[ dict( prompt= '以下是中国关于注册城乡规划师考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='C', role='BOT'), ]), D=dict( begin='', round=[ dict( prompt= '以下是中国关于注册城乡规划师考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='D', role='BOT'), ])), type= 'opencompass.openicl.icl_prompt_template.PromptTemplate'), inferencer=dict( type='opencompass.openicl.icl_inferencer.PPLInferencer'), retriever=dict( fix_id_list=[ 0, 1, 2, 3, 4, ], type='opencompass.openicl.icl_retriever.FixKRetriever')), name='urban_and_rural_planner', path='./data/ceval/formal_ceval', reader_cfg=dict( input_columns=[ 'question', 'A', 'B', 'C', 'D', ], output_column='answer', test_split='val', train_split='dev'), type='opencompass.datasets.CEvalDataset'), dict( abbr='ceval-teacher_qualification', eval_cfg=dict( evaluator=dict( type='opencompass.openicl.icl_evaluator.AccEvaluator')), infer_cfg=dict( ice_template=dict( ice_token='', template=dict( A=dict( begin='', round=[ dict( prompt= '以下是中国关于教师资格考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='A', role='BOT'), ]), B=dict( begin='', round=[ dict( prompt= '以下是中国关于教师资格考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='B', role='BOT'), ]), C=dict( begin='', round=[ dict( prompt= '以下是中国关于教师资格考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='C', role='BOT'), ]), D=dict( begin='', round=[ dict( prompt= '以下是中国关于教师资格考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='D', role='BOT'), ])), type= 'opencompass.openicl.icl_prompt_template.PromptTemplate'), inferencer=dict( type='opencompass.openicl.icl_inferencer.PPLInferencer'), retriever=dict( fix_id_list=[ 0, 1, 2, 3, 4, ], type='opencompass.openicl.icl_retriever.FixKRetriever')), name='teacher_qualification', path='./data/ceval/formal_ceval', reader_cfg=dict( input_columns=[ 'question', 'A', 'B', 'C', 'D', ], output_column='answer', test_split='val', train_split='dev'), type='opencompass.datasets.CEvalDataset'), dict( abbr='ceval-college_programming', eval_cfg=dict( evaluator=dict( type='opencompass.openicl.icl_evaluator.AccEvaluator')), infer_cfg=dict( ice_template=dict( ice_token='', template=dict( A=dict( begin='', round=[ dict( prompt= '以下是中国关于大学编程考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='A', role='BOT'), ]), B=dict( begin='', round=[ dict( prompt= '以下是中国关于大学编程考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='B', role='BOT'), ]), C=dict( begin='', round=[ dict( prompt= '以下是中国关于大学编程考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='C', role='BOT'), ]), D=dict( begin='', round=[ dict( prompt= '以下是中国关于大学编程考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='D', role='BOT'), ])), type= 'opencompass.openicl.icl_prompt_template.PromptTemplate'), inferencer=dict( type='opencompass.openicl.icl_inferencer.PPLInferencer'), retriever=dict( fix_id_list=[ 0, 1, 2, 3, 4, ], type='opencompass.openicl.icl_retriever.FixKRetriever')), name='college_programming', path='./data/ceval/formal_ceval', reader_cfg=dict( input_columns=[ 'question', 'A', 'B', 'C', 'D', ], output_column='answer', test_split='val', train_split='dev'), type='opencompass.datasets.CEvalDataset'), dict( abbr='ceval-electrical_engineer', eval_cfg=dict( evaluator=dict( type='opencompass.openicl.icl_evaluator.AccEvaluator')), infer_cfg=dict( ice_template=dict( ice_token='', template=dict( A=dict( begin='', round=[ dict( prompt= '以下是中国关于注册电气工程师考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='A', role='BOT'), ]), B=dict( begin='', round=[ dict( prompt= '以下是中国关于注册电气工程师考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='B', role='BOT'), ]), C=dict( begin='', round=[ dict( prompt= '以下是中国关于注册电气工程师考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='C', role='BOT'), ]), D=dict( begin='', round=[ dict( prompt= '以下是中国关于注册电气工程师考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='D', role='BOT'), ])), type= 'opencompass.openicl.icl_prompt_template.PromptTemplate'), inferencer=dict( type='opencompass.openicl.icl_inferencer.PPLInferencer'), retriever=dict( fix_id_list=[ 0, 1, 2, 3, 4, ], type='opencompass.openicl.icl_retriever.FixKRetriever')), name='electrical_engineer', path='./data/ceval/formal_ceval', reader_cfg=dict( input_columns=[ 'question', 'A', 'B', 'C', 'D', ], output_column='answer', test_split='val', train_split='dev'), type='opencompass.datasets.CEvalDataset'), dict( abbr='ceval-business_administration', eval_cfg=dict( evaluator=dict( type='opencompass.openicl.icl_evaluator.AccEvaluator')), infer_cfg=dict( ice_template=dict( ice_token='', template=dict( A=dict( begin='', round=[ dict( prompt= '以下是中国关于工商管理考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='A', role='BOT'), ]), B=dict( begin='', round=[ dict( prompt= '以下是中国关于工商管理考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='B', role='BOT'), ]), C=dict( begin='', round=[ dict( prompt= '以下是中国关于工商管理考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='C', role='BOT'), ]), D=dict( begin='', round=[ dict( prompt= '以下是中国关于工商管理考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='D', role='BOT'), ])), type= 'opencompass.openicl.icl_prompt_template.PromptTemplate'), inferencer=dict( type='opencompass.openicl.icl_inferencer.PPLInferencer'), retriever=dict( fix_id_list=[ 0, 1, 2, 3, 4, ], type='opencompass.openicl.icl_retriever.FixKRetriever')), name='business_administration', path='./data/ceval/formal_ceval', reader_cfg=dict( input_columns=[ 'question', 'A', 'B', 'C', 'D', ], output_column='answer', test_split='val', train_split='dev'), type='opencompass.datasets.CEvalDataset'), dict( abbr='ceval-art_studies', eval_cfg=dict( evaluator=dict( type='opencompass.openicl.icl_evaluator.AccEvaluator')), infer_cfg=dict( ice_template=dict( ice_token='', template=dict( A=dict( begin='', round=[ dict( prompt= '以下是中国关于艺术学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='A', role='BOT'), ]), B=dict( begin='', round=[ dict( prompt= '以下是中国关于艺术学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='B', role='BOT'), ]), C=dict( begin='', round=[ dict( prompt= '以下是中国关于艺术学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='C', role='BOT'), ]), D=dict( begin='', round=[ dict( prompt= '以下是中国关于艺术学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='D', role='BOT'), ])), type= 'opencompass.openicl.icl_prompt_template.PromptTemplate'), inferencer=dict( type='opencompass.openicl.icl_inferencer.PPLInferencer'), retriever=dict( fix_id_list=[ 0, 1, 2, 3, 4, ], type='opencompass.openicl.icl_retriever.FixKRetriever')), name='art_studies', path='./data/ceval/formal_ceval', reader_cfg=dict( input_columns=[ 'question', 'A', 'B', 'C', 'D', ], output_column='answer', test_split='val', train_split='dev'), type='opencompass.datasets.CEvalDataset'), dict( abbr='ceval-fire_engineer', eval_cfg=dict( evaluator=dict( type='opencompass.openicl.icl_evaluator.AccEvaluator')), infer_cfg=dict( ice_template=dict( ice_token='', template=dict( A=dict( begin='', round=[ dict( prompt= '以下是中国关于注册消防工程师考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='A', role='BOT'), ]), B=dict( begin='', round=[ dict( prompt= '以下是中国关于注册消防工程师考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='B', role='BOT'), ]), C=dict( begin='', round=[ dict( prompt= '以下是中国关于注册消防工程师考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='C', role='BOT'), ]), D=dict( begin='', round=[ dict( prompt= '以下是中国关于注册消防工程师考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='D', role='BOT'), ])), type= 'opencompass.openicl.icl_prompt_template.PromptTemplate'), inferencer=dict( type='opencompass.openicl.icl_inferencer.PPLInferencer'), retriever=dict( fix_id_list=[ 0, 1, 2, 3, 4, ], type='opencompass.openicl.icl_retriever.FixKRetriever')), name='fire_engineer', path='./data/ceval/formal_ceval', reader_cfg=dict( input_columns=[ 'question', 'A', 'B', 'C', 'D', ], output_column='answer', test_split='val', train_split='dev'), type='opencompass.datasets.CEvalDataset'), dict( abbr='ceval-environmental_impact_assessment_engineer', eval_cfg=dict( evaluator=dict( type='opencompass.openicl.icl_evaluator.AccEvaluator')), infer_cfg=dict( ice_template=dict( ice_token='', template=dict( A=dict( begin='', round=[ dict( prompt= '以下是中国关于环境影响评价工程师考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='A', role='BOT'), ]), B=dict( begin='', round=[ dict( prompt= '以下是中国关于环境影响评价工程师考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='B', role='BOT'), ]), C=dict( begin='', round=[ dict( prompt= '以下是中国关于环境影响评价工程师考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='C', role='BOT'), ]), D=dict( begin='', round=[ dict( prompt= '以下是中国关于环境影响评价工程师考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='D', role='BOT'), ])), type= 'opencompass.openicl.icl_prompt_template.PromptTemplate'), inferencer=dict( type='opencompass.openicl.icl_inferencer.PPLInferencer'), retriever=dict( fix_id_list=[ 0, 1, 2, 3, 4, ], type='opencompass.openicl.icl_retriever.FixKRetriever')), name='environmental_impact_assessment_engineer', path='./data/ceval/formal_ceval', reader_cfg=dict( input_columns=[ 'question', 'A', 'B', 'C', 'D', ], output_column='answer', test_split='val', train_split='dev'), type='opencompass.datasets.CEvalDataset'), dict( abbr='ceval-education_science', eval_cfg=dict( evaluator=dict( type='opencompass.openicl.icl_evaluator.AccEvaluator')), infer_cfg=dict( ice_template=dict( ice_token='', template=dict( A=dict( begin='', round=[ dict( prompt= '以下是中国关于教育学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='A', role='BOT'), ]), B=dict( begin='', round=[ dict( prompt= '以下是中国关于教育学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='B', role='BOT'), ]), C=dict( begin='', round=[ dict( prompt= '以下是中国关于教育学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='C', role='BOT'), ]), D=dict( begin='', round=[ dict( prompt= '以下是中国关于教育学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='D', role='BOT'), ])), type= 'opencompass.openicl.icl_prompt_template.PromptTemplate'), inferencer=dict( type='opencompass.openicl.icl_inferencer.PPLInferencer'), retriever=dict( fix_id_list=[ 0, 1, 2, 3, 4, ], type='opencompass.openicl.icl_retriever.FixKRetriever')), name='education_science', path='./data/ceval/formal_ceval', reader_cfg=dict( input_columns=[ 'question', 'A', 'B', 'C', 'D', ], output_column='answer', test_split='val', train_split='dev'), type='opencompass.datasets.CEvalDataset'), dict( abbr='ceval-professional_tour_guide', eval_cfg=dict( evaluator=dict( type='opencompass.openicl.icl_evaluator.AccEvaluator')), infer_cfg=dict( ice_template=dict( ice_token='', template=dict( A=dict( begin='', round=[ dict( prompt= '以下是中国关于导游资格考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='A', role='BOT'), ]), B=dict( begin='', round=[ dict( prompt= '以下是中国关于导游资格考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='B', role='BOT'), ]), C=dict( begin='', round=[ dict( prompt= '以下是中国关于导游资格考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='C', role='BOT'), ]), D=dict( begin='', round=[ dict( prompt= '以下是中国关于导游资格考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='D', role='BOT'), ])), type= 'opencompass.openicl.icl_prompt_template.PromptTemplate'), inferencer=dict( type='opencompass.openicl.icl_inferencer.PPLInferencer'), retriever=dict( fix_id_list=[ 0, 1, 2, 3, 4, ], type='opencompass.openicl.icl_retriever.FixKRetriever')), name='professional_tour_guide', path='./data/ceval/formal_ceval', reader_cfg=dict( input_columns=[ 'question', 'A', 'B', 'C', 'D', ], output_column='answer', test_split='val', train_split='dev'), type='opencompass.datasets.CEvalDataset'), dict( abbr='ceval-college_chemistry', eval_cfg=dict( evaluator=dict( type='opencompass.openicl.icl_evaluator.AccEvaluator')), infer_cfg=dict( ice_template=dict( ice_token='', template=dict( A=dict( begin='', round=[ dict( prompt= '以下是中国关于大学化学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='A', role='BOT'), ]), B=dict( begin='', round=[ dict( prompt= '以下是中国关于大学化学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='B', role='BOT'), ]), C=dict( begin='', round=[ dict( prompt= '以下是中国关于大学化学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='C', role='BOT'), ]), D=dict( begin='', round=[ dict( prompt= '以下是中国关于大学化学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='D', role='BOT'), ])), type= 'opencompass.openicl.icl_prompt_template.PromptTemplate'), inferencer=dict( type='opencompass.openicl.icl_inferencer.PPLInferencer'), retriever=dict( fix_id_list=[ 0, 1, 2, 3, 4, ], type='opencompass.openicl.icl_retriever.FixKRetriever')), name='college_chemistry', path='./data/ceval/formal_ceval', reader_cfg=dict( input_columns=[ 'question', 'A', 'B', 'C', 'D', ], output_column='answer', test_split='val', train_split='dev'), type='opencompass.datasets.CEvalDataset'), dict( abbr='ceval-metrology_engineer', eval_cfg=dict( evaluator=dict( type='opencompass.openicl.icl_evaluator.AccEvaluator')), infer_cfg=dict( ice_template=dict( ice_token='', template=dict( A=dict( begin='', round=[ dict( prompt= '以下是中国关于注册计量师考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='A', role='BOT'), ]), B=dict( begin='', round=[ dict( prompt= '以下是中国关于注册计量师考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='B', role='BOT'), ]), C=dict( begin='', round=[ dict( prompt= '以下是中国关于注册计量师考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='C', role='BOT'), ]), D=dict( begin='', round=[ dict( prompt= '以下是中国关于注册计量师考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='D', role='BOT'), ])), type= 'opencompass.openicl.icl_prompt_template.PromptTemplate'), inferencer=dict( type='opencompass.openicl.icl_inferencer.PPLInferencer'), retriever=dict( fix_id_list=[ 0, 1, 2, 3, 4, ], type='opencompass.openicl.icl_retriever.FixKRetriever')), name='metrology_engineer', path='./data/ceval/formal_ceval', reader_cfg=dict( input_columns=[ 'question', 'A', 'B', 'C', 'D', ], output_column='answer', test_split='val', train_split='dev'), type='opencompass.datasets.CEvalDataset'), dict( abbr='ceval-mao_zedong_thought', eval_cfg=dict( evaluator=dict( type='opencompass.openicl.icl_evaluator.AccEvaluator')), infer_cfg=dict( ice_template=dict( ice_token='', template=dict( A=dict( begin='', round=[ dict( prompt= '以下是中国关于毛泽东思想和中国特色社会主义理论体系概论考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='A', role='BOT'), ]), B=dict( begin='', round=[ dict( prompt= '以下是中国关于毛泽东思想和中国特色社会主义理论体系概论考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='B', role='BOT'), ]), C=dict( begin='', round=[ dict( prompt= '以下是中国关于毛泽东思想和中国特色社会主义理论体系概论考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='C', role='BOT'), ]), D=dict( begin='', round=[ dict( prompt= '以下是中国关于毛泽东思想和中国特色社会主义理论体系概论考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='D', role='BOT'), ])), type= 'opencompass.openicl.icl_prompt_template.PromptTemplate'), inferencer=dict( type='opencompass.openicl.icl_inferencer.PPLInferencer'), retriever=dict( fix_id_list=[ 0, 1, 2, 3, 4, ], type='opencompass.openicl.icl_retriever.FixKRetriever')), name='mao_zedong_thought', path='./data/ceval/formal_ceval', reader_cfg=dict( input_columns=[ 'question', 'A', 'B', 'C', 'D', ], output_column='answer', test_split='val', train_split='dev'), type='opencompass.datasets.CEvalDataset'), dict( abbr='ceval-law', eval_cfg=dict( evaluator=dict( type='opencompass.openicl.icl_evaluator.AccEvaluator')), infer_cfg=dict( ice_template=dict( ice_token='', template=dict( A=dict( begin='', round=[ dict( prompt= '以下是中国关于法学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='A', role='BOT'), ]), B=dict( begin='', round=[ dict( prompt= '以下是中国关于法学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='B', role='BOT'), ]), C=dict( begin='', round=[ dict( prompt= '以下是中国关于法学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='C', role='BOT'), ]), D=dict( begin='', round=[ dict( prompt= '以下是中国关于法学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='D', role='BOT'), ])), type= 'opencompass.openicl.icl_prompt_template.PromptTemplate'), inferencer=dict( type='opencompass.openicl.icl_inferencer.PPLInferencer'), retriever=dict( fix_id_list=[ 0, 1, 2, 3, 4, ], type='opencompass.openicl.icl_retriever.FixKRetriever')), name='law', path='./data/ceval/formal_ceval', reader_cfg=dict( input_columns=[ 'question', 'A', 'B', 'C', 'D', ], output_column='answer', test_split='val', train_split='dev'), type='opencompass.datasets.CEvalDataset'), dict( abbr='ceval-veterinary_medicine', eval_cfg=dict( evaluator=dict( type='opencompass.openicl.icl_evaluator.AccEvaluator')), infer_cfg=dict( ice_template=dict( ice_token='', template=dict( A=dict( begin='', round=[ dict( prompt= '以下是中国关于兽医学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='A', role='BOT'), ]), B=dict( begin='', round=[ dict( prompt= '以下是中国关于兽医学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='B', role='BOT'), ]), C=dict( begin='', round=[ dict( prompt= '以下是中国关于兽医学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='C', role='BOT'), ]), D=dict( begin='', round=[ dict( prompt= '以下是中国关于兽医学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='D', role='BOT'), ])), type= 'opencompass.openicl.icl_prompt_template.PromptTemplate'), inferencer=dict( type='opencompass.openicl.icl_inferencer.PPLInferencer'), retriever=dict( fix_id_list=[ 0, 1, 2, 3, 4, ], type='opencompass.openicl.icl_retriever.FixKRetriever')), name='veterinary_medicine', path='./data/ceval/formal_ceval', reader_cfg=dict( input_columns=[ 'question', 'A', 'B', 'C', 'D', ], output_column='answer', test_split='val', train_split='dev'), type='opencompass.datasets.CEvalDataset'), dict( abbr='ceval-modern_chinese_history', eval_cfg=dict( evaluator=dict( type='opencompass.openicl.icl_evaluator.AccEvaluator')), infer_cfg=dict( ice_template=dict( ice_token='', template=dict( A=dict( begin='', round=[ dict( prompt= '以下是中国关于近代史纲要考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='A', role='BOT'), ]), B=dict( begin='', round=[ dict( prompt= '以下是中国关于近代史纲要考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='B', role='BOT'), ]), C=dict( begin='', round=[ dict( prompt= '以下是中国关于近代史纲要考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='C', role='BOT'), ]), D=dict( begin='', round=[ dict( prompt= '以下是中国关于近代史纲要考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='D', role='BOT'), ])), type= 'opencompass.openicl.icl_prompt_template.PromptTemplate'), inferencer=dict( type='opencompass.openicl.icl_inferencer.PPLInferencer'), retriever=dict( fix_id_list=[ 0, 1, 2, 3, 4, ], type='opencompass.openicl.icl_retriever.FixKRetriever')), name='modern_chinese_history', path='./data/ceval/formal_ceval', reader_cfg=dict( input_columns=[ 'question', 'A', 'B', 'C', 'D', ], output_column='answer', test_split='val', train_split='dev'), type='opencompass.datasets.CEvalDataset'), dict( abbr='ceval-chinese_language_and_literature', eval_cfg=dict( evaluator=dict( type='opencompass.openicl.icl_evaluator.AccEvaluator')), infer_cfg=dict( ice_template=dict( ice_token='', template=dict( A=dict( begin='', round=[ dict( prompt= '以下是中国关于中国语言文学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='A', role='BOT'), ]), B=dict( begin='', round=[ dict( prompt= '以下是中国关于中国语言文学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='B', role='BOT'), ]), C=dict( begin='', round=[ dict( prompt= '以下是中国关于中国语言文学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='C', role='BOT'), ]), D=dict( begin='', round=[ dict( prompt= '以下是中国关于中国语言文学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='D', role='BOT'), ])), type= 'opencompass.openicl.icl_prompt_template.PromptTemplate'), inferencer=dict( type='opencompass.openicl.icl_inferencer.PPLInferencer'), retriever=dict( fix_id_list=[ 0, 1, 2, 3, 4, ], type='opencompass.openicl.icl_retriever.FixKRetriever')), name='chinese_language_and_literature', path='./data/ceval/formal_ceval', reader_cfg=dict( input_columns=[ 'question', 'A', 'B', 'C', 'D', ], output_column='answer', test_split='val', train_split='dev'), type='opencompass.datasets.CEvalDataset'), dict( abbr='ceval-legal_professional', eval_cfg=dict( evaluator=dict( type='opencompass.openicl.icl_evaluator.AccEvaluator')), infer_cfg=dict( ice_template=dict( ice_token='', template=dict( A=dict( begin='', round=[ dict( prompt= '以下是中国关于法律职业资格考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='A', role='BOT'), ]), B=dict( begin='', round=[ dict( prompt= '以下是中国关于法律职业资格考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='B', role='BOT'), ]), C=dict( begin='', round=[ dict( prompt= '以下是中国关于法律职业资格考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='C', role='BOT'), ]), D=dict( begin='', round=[ dict( prompt= '以下是中国关于法律职业资格考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='D', role='BOT'), ])), type= 'opencompass.openicl.icl_prompt_template.PromptTemplate'), inferencer=dict( type='opencompass.openicl.icl_inferencer.PPLInferencer'), retriever=dict( fix_id_list=[ 0, 1, 2, 3, 4, ], type='opencompass.openicl.icl_retriever.FixKRetriever')), name='legal_professional', path='./data/ceval/formal_ceval', reader_cfg=dict( input_columns=[ 'question', 'A', 'B', 'C', 'D', ], output_column='answer', test_split='val', train_split='dev'), type='opencompass.datasets.CEvalDataset'), dict( abbr='ceval-logic', eval_cfg=dict( evaluator=dict( type='opencompass.openicl.icl_evaluator.AccEvaluator')), infer_cfg=dict( ice_template=dict( ice_token='', template=dict( A=dict( begin='', round=[ dict( prompt= '以下是中国关于逻辑学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='A', role='BOT'), ]), B=dict( begin='', round=[ dict( prompt= '以下是中国关于逻辑学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='B', role='BOT'), ]), C=dict( begin='', round=[ dict( prompt= '以下是中国关于逻辑学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='C', role='BOT'), ]), D=dict( begin='', round=[ dict( prompt= '以下是中国关于逻辑学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='D', role='BOT'), ])), type= 'opencompass.openicl.icl_prompt_template.PromptTemplate'), inferencer=dict( type='opencompass.openicl.icl_inferencer.PPLInferencer'), retriever=dict( fix_id_list=[ 0, 1, 2, 3, 4, ], type='opencompass.openicl.icl_retriever.FixKRetriever')), name='logic', path='./data/ceval/formal_ceval', reader_cfg=dict( input_columns=[ 'question', 'A', 'B', 'C', 'D', ], output_column='answer', test_split='val', train_split='dev'), type='opencompass.datasets.CEvalDataset'), dict( abbr='ceval-middle_school_history', eval_cfg=dict( evaluator=dict( type='opencompass.openicl.icl_evaluator.AccEvaluator')), infer_cfg=dict( ice_template=dict( ice_token='', template=dict( A=dict( begin='', round=[ dict( prompt= '以下是中国关于初中历史考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='A', role='BOT'), ]), B=dict( begin='', round=[ dict( prompt= '以下是中国关于初中历史考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='B', role='BOT'), ]), C=dict( begin='', round=[ dict( prompt= '以下是中国关于初中历史考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='C', role='BOT'), ]), D=dict( begin='', round=[ dict( prompt= '以下是中国关于初中历史考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='D', role='BOT'), ])), type= 'opencompass.openicl.icl_prompt_template.PromptTemplate'), inferencer=dict( type='opencompass.openicl.icl_inferencer.PPLInferencer'), retriever=dict( fix_id_list=[ 0, 1, 2, 3, 4, ], type='opencompass.openicl.icl_retriever.FixKRetriever')), name='middle_school_history', path='./data/ceval/formal_ceval', reader_cfg=dict( input_columns=[ 'question', 'A', 'B', 'C', 'D', ], output_column='answer', test_split='val', train_split='dev'), type='opencompass.datasets.CEvalDataset'), dict( abbr='ceval-plant_protection', eval_cfg=dict( evaluator=dict( type='opencompass.openicl.icl_evaluator.AccEvaluator')), infer_cfg=dict( ice_template=dict( ice_token='', template=dict( A=dict( begin='', round=[ dict( prompt= '以下是中国关于植物保护考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='A', role='BOT'), ]), B=dict( begin='', round=[ dict( prompt= '以下是中国关于植物保护考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='B', role='BOT'), ]), C=dict( begin='', round=[ dict( prompt= '以下是中国关于植物保护考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='C', role='BOT'), ]), D=dict( begin='', round=[ dict( prompt= '以下是中国关于植物保护考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='D', role='BOT'), ])), type= 'opencompass.openicl.icl_prompt_template.PromptTemplate'), inferencer=dict( type='opencompass.openicl.icl_inferencer.PPLInferencer'), retriever=dict( fix_id_list=[ 0, 1, 2, 3, 4, ], type='opencompass.openicl.icl_retriever.FixKRetriever')), name='plant_protection', path='./data/ceval/formal_ceval', reader_cfg=dict( input_columns=[ 'question', 'A', 'B', 'C', 'D', ], output_column='answer', test_split='val', train_split='dev'), type='opencompass.datasets.CEvalDataset'), dict( abbr='ceval-clinical_medicine', eval_cfg=dict( evaluator=dict( type='opencompass.openicl.icl_evaluator.AccEvaluator')), infer_cfg=dict( ice_template=dict( ice_token='', template=dict( A=dict( begin='', round=[ dict( prompt= '以下是中国关于临床医学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='A', role='BOT'), ]), B=dict( begin='', round=[ dict( prompt= '以下是中国关于临床医学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='B', role='BOT'), ]), C=dict( begin='', round=[ dict( prompt= '以下是中国关于临床医学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='C', role='BOT'), ]), D=dict( begin='', round=[ dict( prompt= '以下是中国关于临床医学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='D', role='BOT'), ])), type= 'opencompass.openicl.icl_prompt_template.PromptTemplate'), inferencer=dict( type='opencompass.openicl.icl_inferencer.PPLInferencer'), retriever=dict( fix_id_list=[ 0, 1, 2, 3, 4, ], type='opencompass.openicl.icl_retriever.FixKRetriever')), name='clinical_medicine', path='./data/ceval/formal_ceval', reader_cfg=dict( input_columns=[ 'question', 'A', 'B', 'C', 'D', ], output_column='answer', test_split='val', train_split='dev'), type='opencompass.datasets.CEvalDataset'), dict( abbr='ceval-computer_architecture', eval_cfg=dict( evaluator=dict( type='opencompass.openicl.icl_evaluator.AccEvaluator')), infer_cfg=dict( ice_template=dict( ice_token='', template=dict( A=dict( begin='', round=[ dict( prompt= '以下是中国关于计算机组成考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='A', role='BOT'), ]), B=dict( begin='', round=[ dict( prompt= '以下是中国关于计算机组成考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='B', role='BOT'), ]), C=dict( begin='', round=[ dict( prompt= '以下是中国关于计算机组成考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='C', role='BOT'), ]), D=dict( begin='', round=[ dict( prompt= '以下是中国关于计算机组成考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='D', role='BOT'), ])), type= 'opencompass.openicl.icl_prompt_template.PromptTemplate'), inferencer=dict( type='opencompass.openicl.icl_inferencer.PPLInferencer'), retriever=dict( fix_id_list=[ 0, 1, 2, 3, 4, ], type='opencompass.openicl.icl_retriever.FixKRetriever')), name='computer_architecture', path='./data/ceval/formal_ceval', reader_cfg=dict( input_columns=[ 'question', 'A', 'B', 'C', 'D', ], output_column='answer', test_split='val', train_split='dev'), type='opencompass.datasets.CEvalDataset'), dict( abbr='ceval-middle_school_biology', eval_cfg=dict( evaluator=dict( type='opencompass.openicl.icl_evaluator.AccEvaluator')), infer_cfg=dict( ice_template=dict( ice_token='', template=dict( A=dict( begin='', round=[ dict( prompt= '以下是中国关于初中生物考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='A', role='BOT'), ]), B=dict( begin='', round=[ dict( prompt= '以下是中国关于初中生物考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='B', role='BOT'), ]), C=dict( begin='', round=[ dict( prompt= '以下是中国关于初中生物考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='C', role='BOT'), ]), D=dict( begin='', round=[ dict( prompt= '以下是中国关于初中生物考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='D', role='BOT'), ])), type= 'opencompass.openicl.icl_prompt_template.PromptTemplate'), inferencer=dict( type='opencompass.openicl.icl_inferencer.PPLInferencer'), retriever=dict( fix_id_list=[ 0, 1, 2, 3, 4, ], type='opencompass.openicl.icl_retriever.FixKRetriever')), name='middle_school_biology', path='./data/ceval/formal_ceval', reader_cfg=dict( input_columns=[ 'question', 'A', 'B', 'C', 'D', ], output_column='answer', test_split='val', train_split='dev'), type='opencompass.datasets.CEvalDataset'), dict( abbr='ceval-middle_school_politics', eval_cfg=dict( evaluator=dict( type='opencompass.openicl.icl_evaluator.AccEvaluator')), infer_cfg=dict( ice_template=dict( ice_token='', template=dict( A=dict( begin='', round=[ dict( prompt= '以下是中国关于初中政治考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='A', role='BOT'), ]), B=dict( begin='', round=[ dict( prompt= '以下是中国关于初中政治考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='B', role='BOT'), ]), C=dict( begin='', round=[ dict( prompt= '以下是中国关于初中政治考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='C', role='BOT'), ]), D=dict( begin='', round=[ dict( prompt= '以下是中国关于初中政治考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='D', role='BOT'), ])), type= 'opencompass.openicl.icl_prompt_template.PromptTemplate'), inferencer=dict( type='opencompass.openicl.icl_inferencer.PPLInferencer'), retriever=dict( fix_id_list=[ 0, 1, 2, 3, 4, ], type='opencompass.openicl.icl_retriever.FixKRetriever')), name='middle_school_politics', path='./data/ceval/formal_ceval', reader_cfg=dict( input_columns=[ 'question', 'A', 'B', 'C', 'D', ], output_column='answer', test_split='val', train_split='dev'), type='opencompass.datasets.CEvalDataset'), dict( abbr='ceval-middle_school_chemistry', eval_cfg=dict( evaluator=dict( type='opencompass.openicl.icl_evaluator.AccEvaluator')), infer_cfg=dict( ice_template=dict( ice_token='', template=dict( A=dict( begin='', round=[ dict( prompt= '以下是中国关于初中化学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='A', role='BOT'), ]), B=dict( begin='', round=[ dict( prompt= '以下是中国关于初中化学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='B', role='BOT'), ]), C=dict( begin='', round=[ dict( prompt= '以下是中国关于初中化学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='C', role='BOT'), ]), D=dict( begin='', round=[ dict( prompt= '以下是中国关于初中化学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='D', role='BOT'), ])), type= 'opencompass.openicl.icl_prompt_template.PromptTemplate'), inferencer=dict( type='opencompass.openicl.icl_inferencer.PPLInferencer'), retriever=dict( fix_id_list=[ 0, 1, 2, 3, 4, ], type='opencompass.openicl.icl_retriever.FixKRetriever')), name='middle_school_chemistry', path='./data/ceval/formal_ceval', reader_cfg=dict( input_columns=[ 'question', 'A', 'B', 'C', 'D', ], output_column='answer', test_split='val', train_split='dev'), type='opencompass.datasets.CEvalDataset'), dict( abbr='ceval-high_school_history', eval_cfg=dict( evaluator=dict( type='opencompass.openicl.icl_evaluator.AccEvaluator')), infer_cfg=dict( ice_template=dict( ice_token='', template=dict( A=dict( begin='', round=[ dict( prompt= '以下是中国关于高中历史考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='A', role='BOT'), ]), B=dict( begin='', round=[ dict( prompt= '以下是中国关于高中历史考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='B', role='BOT'), ]), C=dict( begin='', round=[ dict( prompt= '以下是中国关于高中历史考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='C', role='BOT'), ]), D=dict( begin='', round=[ dict( prompt= '以下是中国关于高中历史考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='D', role='BOT'), ])), type= 'opencompass.openicl.icl_prompt_template.PromptTemplate'), inferencer=dict( type='opencompass.openicl.icl_inferencer.PPLInferencer'), retriever=dict( fix_id_list=[ 0, 1, 2, 3, 4, ], type='opencompass.openicl.icl_retriever.FixKRetriever')), name='high_school_history', path='./data/ceval/formal_ceval', reader_cfg=dict( input_columns=[ 'question', 'A', 'B', 'C', 'D', ], output_column='answer', test_split='val', train_split='dev'), type='opencompass.datasets.CEvalDataset'), dict( abbr='ceval-computer_network', eval_cfg=dict( evaluator=dict( type='opencompass.openicl.icl_evaluator.AccEvaluator')), infer_cfg=dict( ice_template=dict( ice_token='', template=dict( A=dict( begin='', round=[ dict( prompt= '以下是中国关于计算机网络考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='A', role='BOT'), ]), B=dict( begin='', round=[ dict( prompt= '以下是中国关于计算机网络考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='B', role='BOT'), ]), C=dict( begin='', round=[ dict( prompt= '以下是中国关于计算机网络考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='C', role='BOT'), ]), D=dict( begin='', round=[ dict( prompt= '以下是中国关于计算机网络考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='D', role='BOT'), ])), type= 'opencompass.openicl.icl_prompt_template.PromptTemplate'), inferencer=dict( type='opencompass.openicl.icl_inferencer.PPLInferencer'), retriever=dict( fix_id_list=[ 0, 1, 2, 3, 4, ], type='opencompass.openicl.icl_retriever.FixKRetriever')), name='computer_network', path='./data/ceval/formal_ceval', reader_cfg=dict( input_columns=[ 'question', 'A', 'B', 'C', 'D', ], output_column='answer', test_split='val', train_split='dev'), type='opencompass.datasets.CEvalDataset'), dict( abbr='ceval-operating_system', eval_cfg=dict( evaluator=dict( type='opencompass.openicl.icl_evaluator.AccEvaluator')), infer_cfg=dict( ice_template=dict( ice_token='', template=dict( A=dict( begin='', round=[ dict( prompt= '以下是中国关于操作系统考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='A', role='BOT'), ]), B=dict( begin='', round=[ dict( prompt= '以下是中国关于操作系统考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='B', role='BOT'), ]), C=dict( begin='', round=[ dict( prompt= '以下是中国关于操作系统考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='C', role='BOT'), ]), D=dict( begin='', round=[ dict( prompt= '以下是中国关于操作系统考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='D', role='BOT'), ])), type= 'opencompass.openicl.icl_prompt_template.PromptTemplate'), inferencer=dict( type='opencompass.openicl.icl_inferencer.PPLInferencer'), retriever=dict( fix_id_list=[ 0, 1, 2, 3, 4, ], type='opencompass.openicl.icl_retriever.FixKRetriever')), name='operating_system', path='./data/ceval/formal_ceval', reader_cfg=dict( input_columns=[ 'question', 'A', 'B', 'C', 'D', ], output_column='answer', test_split='val', train_split='dev'), type='opencompass.datasets.CEvalDataset'), dict( abbr='ceval-college_physics', eval_cfg=dict( evaluator=dict( type='opencompass.openicl.icl_evaluator.AccEvaluator')), infer_cfg=dict( ice_template=dict( ice_token='', template=dict( A=dict( begin='', round=[ dict( prompt= '以下是中国关于大学物理考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='A', role='BOT'), ]), B=dict( begin='', round=[ dict( prompt= '以下是中国关于大学物理考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='B', role='BOT'), ]), C=dict( begin='', round=[ dict( prompt= '以下是中国关于大学物理考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='C', role='BOT'), ]), D=dict( begin='', round=[ dict( prompt= '以下是中国关于大学物理考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='D', role='BOT'), ])), type= 'opencompass.openicl.icl_prompt_template.PromptTemplate'), inferencer=dict( type='opencompass.openicl.icl_inferencer.PPLInferencer'), retriever=dict( fix_id_list=[ 0, 1, 2, 3, 4, ], type='opencompass.openicl.icl_retriever.FixKRetriever')), name='college_physics', path='./data/ceval/formal_ceval', reader_cfg=dict( input_columns=[ 'question', 'A', 'B', 'C', 'D', ], output_column='answer', test_split='val', train_split='dev'), type='opencompass.datasets.CEvalDataset'), dict( abbr='ceval-advanced_mathematics', eval_cfg=dict( evaluator=dict( type='opencompass.openicl.icl_evaluator.AccEvaluator')), infer_cfg=dict( ice_template=dict( ice_token='', template=dict( A=dict( begin='', round=[ dict( prompt= '以下是中国关于高等数学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='A', role='BOT'), ]), B=dict( begin='', round=[ dict( prompt= '以下是中国关于高等数学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='B', role='BOT'), ]), C=dict( begin='', round=[ dict( prompt= '以下是中国关于高等数学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='C', role='BOT'), ]), D=dict( begin='', round=[ dict( prompt= '以下是中国关于高等数学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='D', role='BOT'), ])), type= 'opencompass.openicl.icl_prompt_template.PromptTemplate'), inferencer=dict( type='opencompass.openicl.icl_inferencer.PPLInferencer'), retriever=dict( fix_id_list=[ 0, 1, 2, 3, 4, ], type='opencompass.openicl.icl_retriever.FixKRetriever')), name='advanced_mathematics', path='./data/ceval/formal_ceval', reader_cfg=dict( input_columns=[ 'question', 'A', 'B', 'C', 'D', ], output_column='answer', test_split='val', train_split='dev'), type='opencompass.datasets.CEvalDataset'), dict( abbr='ceval-high_school_physics', eval_cfg=dict( evaluator=dict( type='opencompass.openicl.icl_evaluator.AccEvaluator')), infer_cfg=dict( ice_template=dict( ice_token='', template=dict( A=dict( begin='', round=[ dict( prompt= '以下是中国关于高中物理考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='A', role='BOT'), ]), B=dict( begin='', round=[ dict( prompt= '以下是中国关于高中物理考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='B', role='BOT'), ]), C=dict( begin='', round=[ dict( prompt= '以下是中国关于高中物理考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='C', role='BOT'), ]), D=dict( begin='', round=[ dict( prompt= '以下是中国关于高中物理考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='D', role='BOT'), ])), type= 'opencompass.openicl.icl_prompt_template.PromptTemplate'), inferencer=dict( type='opencompass.openicl.icl_inferencer.PPLInferencer'), retriever=dict( fix_id_list=[ 0, 1, 2, 3, 4, ], type='opencompass.openicl.icl_retriever.FixKRetriever')), name='high_school_physics', path='./data/ceval/formal_ceval', reader_cfg=dict( input_columns=[ 'question', 'A', 'B', 'C', 'D', ], output_column='answer', test_split='val', train_split='dev'), type='opencompass.datasets.CEvalDataset'), dict( abbr='ceval-high_school_chemistry', eval_cfg=dict( evaluator=dict( type='opencompass.openicl.icl_evaluator.AccEvaluator')), infer_cfg=dict( ice_template=dict( ice_token='', template=dict( A=dict( begin='', round=[ dict( prompt= '以下是中国关于高中化学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='A', role='BOT'), ]), B=dict( begin='', round=[ dict( prompt= '以下是中国关于高中化学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='B', role='BOT'), ]), C=dict( begin='', round=[ dict( prompt= '以下是中国关于高中化学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='C', role='BOT'), ]), D=dict( begin='', round=[ dict( prompt= '以下是中国关于高中化学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='D', role='BOT'), ])), type= 'opencompass.openicl.icl_prompt_template.PromptTemplate'), inferencer=dict( type='opencompass.openicl.icl_inferencer.PPLInferencer'), retriever=dict( fix_id_list=[ 0, 1, 2, 3, 4, ], type='opencompass.openicl.icl_retriever.FixKRetriever')), name='high_school_chemistry', path='./data/ceval/formal_ceval', reader_cfg=dict( input_columns=[ 'question', 'A', 'B', 'C', 'D', ], output_column='answer', test_split='val', train_split='dev'), type='opencompass.datasets.CEvalDataset'), dict( abbr='ceval-high_school_biology', eval_cfg=dict( evaluator=dict( type='opencompass.openicl.icl_evaluator.AccEvaluator')), infer_cfg=dict( ice_template=dict( ice_token='', template=dict( A=dict( begin='', round=[ dict( prompt= '以下是中国关于高中生物考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='A', role='BOT'), ]), B=dict( begin='', round=[ dict( prompt= '以下是中国关于高中生物考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='B', role='BOT'), ]), C=dict( begin='', round=[ dict( prompt= '以下是中国关于高中生物考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='C', role='BOT'), ]), D=dict( begin='', round=[ dict( prompt= '以下是中国关于高中生物考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='D', role='BOT'), ])), type= 'opencompass.openicl.icl_prompt_template.PromptTemplate'), inferencer=dict( type='opencompass.openicl.icl_inferencer.PPLInferencer'), retriever=dict( fix_id_list=[ 0, 1, 2, 3, 4, ], type='opencompass.openicl.icl_retriever.FixKRetriever')), name='high_school_biology', path='./data/ceval/formal_ceval', reader_cfg=dict( input_columns=[ 'question', 'A', 'B', 'C', 'D', ], output_column='answer', test_split='val', train_split='dev'), type='opencompass.datasets.CEvalDataset'), dict( abbr='ceval-middle_school_mathematics', eval_cfg=dict( evaluator=dict( type='opencompass.openicl.icl_evaluator.AccEvaluator')), infer_cfg=dict( ice_template=dict( ice_token='', template=dict( A=dict( begin='', round=[ dict( prompt= '以下是中国关于初中数学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='A', role='BOT'), ]), B=dict( begin='', round=[ dict( prompt= '以下是中国关于初中数学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='B', role='BOT'), ]), C=dict( begin='', round=[ dict( prompt= '以下是中国关于初中数学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='C', role='BOT'), ]), D=dict( begin='', round=[ dict( prompt= '以下是中国关于初中数学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='D', role='BOT'), ])), type= 'opencompass.openicl.icl_prompt_template.PromptTemplate'), inferencer=dict( type='opencompass.openicl.icl_inferencer.PPLInferencer'), retriever=dict( fix_id_list=[ 0, 1, 2, 3, 4, ], type='opencompass.openicl.icl_retriever.FixKRetriever')), name='middle_school_mathematics', path='./data/ceval/formal_ceval', reader_cfg=dict( input_columns=[ 'question', 'A', 'B', 'C', 'D', ], output_column='answer', test_split='val', train_split='dev'), type='opencompass.datasets.CEvalDataset'), dict( abbr='ceval-middle_school_physics', eval_cfg=dict( evaluator=dict( type='opencompass.openicl.icl_evaluator.AccEvaluator')), infer_cfg=dict( ice_template=dict( ice_token='', template=dict( A=dict( begin='', round=[ dict( prompt= '以下是中国关于初中物理考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='A', role='BOT'), ]), B=dict( begin='', round=[ dict( prompt= '以下是中国关于初中物理考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='B', role='BOT'), ]), C=dict( begin='', round=[ dict( prompt= '以下是中国关于初中物理考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='C', role='BOT'), ]), D=dict( begin='', round=[ dict( prompt= '以下是中国关于初中物理考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='D', role='BOT'), ])), type= 'opencompass.openicl.icl_prompt_template.PromptTemplate'), inferencer=dict( type='opencompass.openicl.icl_inferencer.PPLInferencer'), retriever=dict( fix_id_list=[ 0, 1, 2, 3, 4, ], type='opencompass.openicl.icl_retriever.FixKRetriever')), name='middle_school_physics', path='./data/ceval/formal_ceval', reader_cfg=dict( input_columns=[ 'question', 'A', 'B', 'C', 'D', ], output_column='answer', test_split='val', train_split='dev'), type='opencompass.datasets.CEvalDataset'), dict( abbr='ceval-marxism', eval_cfg=dict( evaluator=dict( type='opencompass.openicl.icl_evaluator.AccEvaluator')), infer_cfg=dict( ice_template=dict( ice_token='', template=dict( A=dict( begin='', round=[ dict( prompt= '以下是中国关于马克思主义基本原理考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='A', role='BOT'), ]), B=dict( begin='', round=[ dict( prompt= '以下是中国关于马克思主义基本原理考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='B', role='BOT'), ]), C=dict( begin='', round=[ dict( prompt= '以下是中国关于马克思主义基本原理考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='C', role='BOT'), ]), D=dict( begin='', round=[ dict( prompt= '以下是中国关于马克思主义基本原理考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='D', role='BOT'), ])), type= 'opencompass.openicl.icl_prompt_template.PromptTemplate'), inferencer=dict( type='opencompass.openicl.icl_inferencer.PPLInferencer'), retriever=dict( fix_id_list=[ 0, 1, 2, 3, 4, ], type='opencompass.openicl.icl_retriever.FixKRetriever')), name='marxism', path='./data/ceval/formal_ceval', reader_cfg=dict( input_columns=[ 'question', 'A', 'B', 'C', 'D', ], output_column='answer', test_split='val', train_split='dev'), type='opencompass.datasets.CEvalDataset'), dict( abbr='ceval-high_school_politics', eval_cfg=dict( evaluator=dict( type='opencompass.openicl.icl_evaluator.AccEvaluator')), infer_cfg=dict( ice_template=dict( ice_token='', template=dict( A=dict( begin='', round=[ dict( prompt= '以下是中国关于高中政治考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='A', role='BOT'), ]), B=dict( begin='', round=[ dict( prompt= '以下是中国关于高中政治考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='B', role='BOT'), ]), C=dict( begin='', round=[ dict( prompt= '以下是中国关于高中政治考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='C', role='BOT'), ]), D=dict( begin='', round=[ dict( prompt= '以下是中国关于高中政治考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='D', role='BOT'), ])), type= 'opencompass.openicl.icl_prompt_template.PromptTemplate'), inferencer=dict( type='opencompass.openicl.icl_inferencer.PPLInferencer'), retriever=dict( fix_id_list=[ 0, 1, 2, 3, 4, ], type='opencompass.openicl.icl_retriever.FixKRetriever')), name='high_school_politics', path='./data/ceval/formal_ceval', reader_cfg=dict( input_columns=[ 'question', 'A', 'B', 'C', 'D', ], output_column='answer', test_split='val', train_split='dev'), type='opencompass.datasets.CEvalDataset'), dict( abbr='ceval-high_school_geography', eval_cfg=dict( evaluator=dict( type='opencompass.openicl.icl_evaluator.AccEvaluator')), infer_cfg=dict( ice_template=dict( ice_token='', template=dict( A=dict( begin='', round=[ dict( prompt= '以下是中国关于高中地理考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='A', role='BOT'), ]), B=dict( begin='', round=[ dict( prompt= '以下是中国关于高中地理考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='B', role='BOT'), ]), C=dict( begin='', round=[ dict( prompt= '以下是中国关于高中地理考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='C', role='BOT'), ]), D=dict( begin='', round=[ dict( prompt= '以下是中国关于高中地理考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='D', role='BOT'), ])), type= 'opencompass.openicl.icl_prompt_template.PromptTemplate'), inferencer=dict( type='opencompass.openicl.icl_inferencer.PPLInferencer'), retriever=dict( fix_id_list=[ 0, 1, 2, 3, 4, ], type='opencompass.openicl.icl_retriever.FixKRetriever')), name='high_school_geography', path='./data/ceval/formal_ceval', reader_cfg=dict( input_columns=[ 'question', 'A', 'B', 'C', 'D', ], output_column='answer', test_split='val', train_split='dev'), type='opencompass.datasets.CEvalDataset'), dict( abbr='ceval-ideological_and_moral_cultivation', eval_cfg=dict( evaluator=dict( type='opencompass.openicl.icl_evaluator.AccEvaluator')), infer_cfg=dict( ice_template=dict( ice_token='', template=dict( A=dict( begin='', round=[ dict( prompt= '以下是中国关于思想道德修养与法律基础考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='A', role='BOT'), ]), B=dict( begin='', round=[ dict( prompt= '以下是中国关于思想道德修养与法律基础考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='B', role='BOT'), ]), C=dict( begin='', round=[ dict( prompt= '以下是中国关于思想道德修养与法律基础考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='C', role='BOT'), ]), D=dict( begin='', round=[ dict( prompt= '以下是中国关于思想道德修养与法律基础考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='D', role='BOT'), ])), type= 'opencompass.openicl.icl_prompt_template.PromptTemplate'), inferencer=dict( type='opencompass.openicl.icl_inferencer.PPLInferencer'), retriever=dict( fix_id_list=[ 0, 1, 2, 3, 4, ], type='opencompass.openicl.icl_retriever.FixKRetriever')), name='ideological_and_moral_cultivation', path='./data/ceval/formal_ceval', reader_cfg=dict( input_columns=[ 'question', 'A', 'B', 'C', 'D', ], output_column='answer', test_split='val', train_split='dev'), type='opencompass.datasets.CEvalDataset'), dict( abbr='ceval-high_school_chinese', eval_cfg=dict( evaluator=dict( type='opencompass.openicl.icl_evaluator.AccEvaluator')), infer_cfg=dict( ice_template=dict( ice_token='', template=dict( A=dict( begin='', round=[ dict( prompt= '以下是中国关于高中语文考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='A', role='BOT'), ]), B=dict( begin='', round=[ dict( prompt= '以下是中国关于高中语文考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='B', role='BOT'), ]), C=dict( begin='', round=[ dict( prompt= '以下是中国关于高中语文考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='C', role='BOT'), ]), D=dict( begin='', round=[ dict( prompt= '以下是中国关于高中语文考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='D', role='BOT'), ])), type= 'opencompass.openicl.icl_prompt_template.PromptTemplate'), inferencer=dict( type='opencompass.openicl.icl_inferencer.PPLInferencer'), retriever=dict( fix_id_list=[ 0, 1, 2, 3, 4, ], type='opencompass.openicl.icl_retriever.FixKRetriever')), name='high_school_chinese', path='./data/ceval/formal_ceval', reader_cfg=dict( input_columns=[ 'question', 'A', 'B', 'C', 'D', ], output_column='answer', test_split='val', train_split='dev'), type='opencompass.datasets.CEvalDataset'), dict( abbr='ceval-sports_science', eval_cfg=dict( evaluator=dict( type='opencompass.openicl.icl_evaluator.AccEvaluator')), infer_cfg=dict( ice_template=dict( ice_token='', template=dict( A=dict( begin='', round=[ dict( prompt= '以下是中国关于体育学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='A', role='BOT'), ]), B=dict( begin='', round=[ dict( prompt= '以下是中国关于体育学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='B', role='BOT'), ]), C=dict( begin='', round=[ dict( prompt= '以下是中国关于体育学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='C', role='BOT'), ]), D=dict( begin='', round=[ dict( prompt= '以下是中国关于体育学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='D', role='BOT'), ])), type= 'opencompass.openicl.icl_prompt_template.PromptTemplate'), inferencer=dict( type='opencompass.openicl.icl_inferencer.PPLInferencer'), retriever=dict( fix_id_list=[ 0, 1, 2, 3, 4, ], type='opencompass.openicl.icl_retriever.FixKRetriever')), name='sports_science', path='./data/ceval/formal_ceval', reader_cfg=dict( input_columns=[ 'question', 'A', 'B', 'C', 'D', ], output_column='answer', test_split='val', train_split='dev'), type='opencompass.datasets.CEvalDataset'), dict( abbr='ceval-basic_medicine', eval_cfg=dict( evaluator=dict( type='opencompass.openicl.icl_evaluator.AccEvaluator')), infer_cfg=dict( ice_template=dict( ice_token='', template=dict( A=dict( begin='', round=[ dict( prompt= '以下是中国关于基础医学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='A', role='BOT'), ]), B=dict( begin='', round=[ dict( prompt= '以下是中国关于基础医学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='B', role='BOT'), ]), C=dict( begin='', round=[ dict( prompt= '以下是中国关于基础医学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='C', role='BOT'), ]), D=dict( begin='', round=[ dict( prompt= '以下是中国关于基础医学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='D', role='BOT'), ])), type= 'opencompass.openicl.icl_prompt_template.PromptTemplate'), inferencer=dict( type='opencompass.openicl.icl_inferencer.PPLInferencer'), retriever=dict( fix_id_list=[ 0, 1, 2, 3, 4, ], type='opencompass.openicl.icl_retriever.FixKRetriever')), name='basic_medicine', path='./data/ceval/formal_ceval', reader_cfg=dict( input_columns=[ 'question', 'A', 'B', 'C', 'D', ], output_column='answer', test_split='val', train_split='dev'), type='opencompass.datasets.CEvalDataset'), dict( abbr='ceval-probability_and_statistics', eval_cfg=dict( evaluator=dict( type='opencompass.openicl.icl_evaluator.AccEvaluator')), infer_cfg=dict( ice_template=dict( ice_token='', template=dict( A=dict( begin='', round=[ dict( prompt= '以下是中国关于概率统计考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='A', role='BOT'), ]), B=dict( begin='', round=[ dict( prompt= '以下是中国关于概率统计考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='B', role='BOT'), ]), C=dict( begin='', round=[ dict( prompt= '以下是中国关于概率统计考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='C', role='BOT'), ]), D=dict( begin='', round=[ dict( prompt= '以下是中国关于概率统计考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='D', role='BOT'), ])), type= 'opencompass.openicl.icl_prompt_template.PromptTemplate'), inferencer=dict( type='opencompass.openicl.icl_inferencer.PPLInferencer'), retriever=dict( fix_id_list=[ 0, 1, 2, 3, 4, ], type='opencompass.openicl.icl_retriever.FixKRetriever')), name='probability_and_statistics', path='./data/ceval/formal_ceval', reader_cfg=dict( input_columns=[ 'question', 'A', 'B', 'C', 'D', ], output_column='answer', test_split='val', train_split='dev'), type='opencompass.datasets.CEvalDataset'), dict( abbr='ceval-high_school_mathematics', eval_cfg=dict( evaluator=dict( type='opencompass.openicl.icl_evaluator.AccEvaluator')), infer_cfg=dict( ice_template=dict( ice_token='', template=dict( A=dict( begin='', round=[ dict( prompt= '以下是中国关于高中数学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='A', role='BOT'), ]), B=dict( begin='', round=[ dict( prompt= '以下是中国关于高中数学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='B', role='BOT'), ]), C=dict( begin='', round=[ dict( prompt= '以下是中国关于高中数学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='C', role='BOT'), ]), D=dict( begin='', round=[ dict( prompt= '以下是中国关于高中数学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='D', role='BOT'), ])), type= 'opencompass.openicl.icl_prompt_template.PromptTemplate'), inferencer=dict( type='opencompass.openicl.icl_inferencer.PPLInferencer'), retriever=dict( fix_id_list=[ 0, 1, 2, 3, 4, ], type='opencompass.openicl.icl_retriever.FixKRetriever')), name='high_school_mathematics', path='./data/ceval/formal_ceval', reader_cfg=dict( input_columns=[ 'question', 'A', 'B', 'C', 'D', ], output_column='answer', test_split='val', train_split='dev'), type='opencompass.datasets.CEvalDataset'), dict( abbr='ceval-discrete_mathematics', eval_cfg=dict( evaluator=dict( type='opencompass.openicl.icl_evaluator.AccEvaluator')), infer_cfg=dict( ice_template=dict( ice_token='', template=dict( A=dict( begin='', round=[ dict( prompt= '以下是中国关于离散数学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='A', role='BOT'), ]), B=dict( begin='', round=[ dict( prompt= '以下是中国关于离散数学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='B', role='BOT'), ]), C=dict( begin='', round=[ dict( prompt= '以下是中国关于离散数学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='C', role='BOT'), ]), D=dict( begin='', round=[ dict( prompt= '以下是中国关于离散数学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='D', role='BOT'), ])), type= 'opencompass.openicl.icl_prompt_template.PromptTemplate'), inferencer=dict( type='opencompass.openicl.icl_inferencer.PPLInferencer'), retriever=dict( fix_id_list=[ 0, 1, 2, 3, 4, ], type='opencompass.openicl.icl_retriever.FixKRetriever')), name='discrete_mathematics', path='./data/ceval/formal_ceval', reader_cfg=dict( input_columns=[ 'question', 'A', 'B', 'C', 'D', ], output_column='answer', test_split='val', train_split='dev'), type='opencompass.datasets.CEvalDataset'), dict( abbr='ceval-middle_school_geography', eval_cfg=dict( evaluator=dict( type='opencompass.openicl.icl_evaluator.AccEvaluator')), infer_cfg=dict( ice_template=dict( ice_token='', template=dict( A=dict( begin='', round=[ dict( prompt= '以下是中国关于初中地理考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='A', role='BOT'), ]), B=dict( begin='', round=[ dict( prompt= '以下是中国关于初中地理考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='B', role='BOT'), ]), C=dict( begin='', round=[ dict( prompt= '以下是中国关于初中地理考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='C', role='BOT'), ]), D=dict( begin='', round=[ dict( prompt= '以下是中国关于初中地理考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ', role='HUMAN'), dict(prompt='D', role='BOT'), ])), type= 'opencompass.openicl.icl_prompt_template.PromptTemplate'), inferencer=dict( type='opencompass.openicl.icl_inferencer.PPLInferencer'), retriever=dict( fix_id_list=[ 0, 1, 2, 3, 4, ], type='opencompass.openicl.icl_retriever.FixKRetriever')), name='middle_school_geography', path='./data/ceval/formal_ceval', reader_cfg=dict( input_columns=[ 'question', 'A', 'B', 'C', 'D', ], output_column='answer', test_split='val', train_split='dev'), type='opencompass.datasets.CEvalDataset'), ], ] models = [ dict( abbr='my_api', api_key='', batch_size=8, max_out_len=100, max_seq_len=2048, meta_template=dict(round=[ dict(api_role='HUMAN', role='HUMAN'), dict(api_role='BOT', generate=True, role='BOT'), ]), path='my_api', run_cfg=dict(num_gpus=1, num_procs=1), type='opencompass.models.my_api.MyAPIModel', url='http://127.0.0.1:12345/testing'), ] work_dir = './outputs/default/20240306_165219'