Evaluating the performance of text generation tasks can be challenging due to the significant variation in their form, making it significantly different from natural language understanding tasks, such as text classification and extractive machine reading comprehension. Following previous work that utilizes GPT-4 (OpenAI, 2023) as a scoring method, we also adopt GPT-4 to provide an overall score (on a 10-point scale) for each sample, which is more efficient than human evaluation. However, GPT-4 may not always provide accurate scores, so we perform manual checks on its ratings and adjust them if necessary. The manual checks ensure that the scores are consistent and reflect the true performance of the models being evaluated.
텍스트 생성 작업의 성능을 평가하는 것은 그 형태의 큰 변동성 때문에 도전적일 수 있으며, 이는 텍스트 분류 및 추출적 기계 독해 이해와 같은 자연어 이해 작업과는 상당히 다릅니다. GPT-4 (OpenAI, 2023)를 평가 방법으로 사용하는 이전 연구를 따라, 우리도 각 샘플에 대해 전반적인 점수(10점 척도)를 제공하기 위해 GPT-4를 채택했습니다. 이는 인간 평가보다 더 효율적입니다. 그러나 GPT-4가 항상 정확한 점수를 제공하지 않을 수 있으므로, 우리는 그 평가를 수동으로 확인하고 필요시 조정합니다. 수동 확인은 점수가 일관되며 평가되는 모델의 실제 성능을 반영하도록 보장합니다.
텍스트 생성 작업의 성능을 평가하는 것은 그 형태가 매우 다양하기 때문에 텍스트 분류 및 추출 기계 독해력과 같은 자연어 이해 작업과는 크게 다르기 때문에 어려울 수 있습니다. GPT-4(OpenAI, 2023)를 채점 방법으로 활용하는 선행 연구에 따라, 저희도 GPT-4를 채택하여 각 샘플에 대해 10점 척도로 전체 점수를 제공하는데, 이는 사람이 평가하는 것보다 더 효율적입니다. 그러나 GPT-4가 항상 정확한 점수를 제공하지는 않을 수 있으므로 수동으로 점수를 확인하고 필요한 경우 조정합니다. 수동 검사를 통해 점수가 일관성을 유지하고 평가 대상 모델의 실제 성능을 반영할 수 있도록 합니다.