In this section, we describe the dataset construction process we undergo in creating the benchmark datasets used in CKL. For the construction, we use Amazon Mechanical Turk (mturk)10 for crowdsourcing Human Intelligent Tasks (HITs) and separately hire 11 experts for annotation that requires extensive searching of the C4 corpus. In addition, three more experts11 who set up the data construction process and prepared the annotation guideline to ensure the quality of the data through post-validation and giving feedback to the annotators in real-time. The interfaces used for mturk HITs are provided in Appendix B.2.
이 섹션에서는 CKL에서 사용되는 벤치마크 데이터 세트를 만드는 과정에서 겪는 데이터 세트 구축 과정을 설명합니다. 구축을 위해 크라우드소싱 Human Intelligent Tasks (HITs)을 위해 Amazon Mechanical Turk (mturk)10을 사용하고, C4 corpus의 광범위한 검색이 필요한 annotation을 위해 11명의 전문가를 별도로 고용합니다. 또한 데이터 구축 프로세스를 설정하고 annotation guideline을 준비한 3명의 전문가11이 사후 검증을 통해 데이터의 품질을 보장하고 실시간으로 annotator에게 피드백을 제공합니다. mturk HIT에 사용되는 인터페이스는 부록 B.2에 제공됩니다.
이 섹션에서는 CKL에서 사용되는 벤치마크 데이터 세트를 만드는 과정에서 겪는 데이터 세트 구축 과정을 설명합니다. 구축을 위해 크라우드소싱 인텔리전트 작업(HIT)을 위해 Amazon Mechanical Turk(mturk)10을 사용하고, C4 말뭉치의 광범위한 검색이 필요한 주석을 위해 11명의 전문가를 별도로 고용합니다. 또한 데이터 구축 프로세스를 설정하고 주석 가이드라인을 준비한 3명의 전문가11이 사후 검증을 통해 데이터의 품질을 보장하고 실시간으로 주석가에게 피드백을 제공합니다. mturk HIT에 사용되는 인터페이스는 부록 B.2에 제공됩니다.