이 문서 주요 내용 요약 좀 해주세요.
채점자에 의해 채점 코드가 입력된 PDF 파일들을 OECS로 다시 가져온 후 신뢰도 보고서(reliability reports)를 생성하였다. OECS를 이용하면 채점자가 의도치 않게 빠뜨린 문항이나 추후 재검토를 위해 남겨두었던 문항을 추적할 수 있다. 한편, 국제본부에서는 전체 문항의 채점자간 일치도는 92% 이상, 각 하위문항에 대한 채점자간 일치도는 85% 이상일 것을 권고하고 있는데, 채점 기획위원은 채점 결과를 확인한 뒤 문제가 있는 경우 재채점을 실시하였다. 채점이 원활히 진행된 경우, 평가자료의 입력과 관리 프로그램인 DME로 내보내기 위해 OECS에서 Excel 파일을 생성했으며, 채점 결과는 DME를 통해 국제본부로 송부하였다. OECS와 DME의 작업 흐름은 [그림 Ⅲ-1-1]과 같다.
OECS를 이용하면 채점자가 빠뜨린 문항을 추적할 수 있다. 채점 기획위원은 채점 결과를 확인한 뒤 문제가 있는 경우 재채점을 실시했다.