The total dataset for the v0.5 benchmark contains 43,090 test items. They were generated by combining 725 sentence fragments (split across 550 fragments for activities and 175 fragments for viewpoints) with 32 templates associated with 13 interaction types. The large number of test items comes from a relatively small number of sentence fragments as we aimed to provide holistic coverage of interaction types and to use variations to test robustness.
v0.5 벤치마크의 총 데이터 세트에는 43,090개의 테스트 항목이 포함되어 있습니다. 이들은 13가지 상호 작용 유형과 관련된 32개의 템플릿과 725개의 문장 조각(활동의 경우 550개, 관점의 경우 175개)을 결합하여 생성되었습니다. 상대적으로 적은 수의 문장 조각에서 많은 수의 테스트 항목이 생성된 이유는 상호 작용 유형에 대한 전체적인 커버리지를 제공하고 변형을 사용하여 robustness를 테스트하는 것을 목표로 했기 때문입니다.
v0.5 벤치마크의 총 데이터 세트에는 43,090개의 테스트 항목이 포함되어 있습니다. 이들은 13가지 상호 작용 유형과 관련된 32개의 템플릿과 725개의 문장 조각(활동의 경우 550개, 관점의 경우 175개)을 결합하여 생성되었습니다. 상대적으로 적은 수의 문장 조각에서 많은 수의 테스트 항목이 생성된 이유는 상호 작용 유형에 대한 전체적인 커버리지를 제공하고 변형을 사용하여 견고성을 테스트하는 것을 목표로 했기 때문입니다.