So far, we have shown the quantity and diversity of the generated data, but its quality remains uncertain. To investigate this, we randomly sample 200 instructions and randomly select 1 instance per instruction. We asked an expert annotator (author of this work) to label whether each instance is correct or not, in terms of the instruction, the instance input, and the instance output. Evaluation results in Table 2 show that most of the generated instructions are meaningful, while the generated instances may contain more noise (to a reasonable extent). However, we found that even though the generations may contain errors, most of them are still in the correct format or partially correct, which can provide useful guidance for training models to follow instructions. We listed a number of good examples and bad examples in Table 10 and 11, respectively.
지금까지 생성된 데이터의 양과 다양성을 보여드렸지만, 그 품질은 여전히 불확실합니다. 이를 조사하기 위해 200개의 instructions를 무작위로 샘플링하고 instruction당 1개의 instance를 무작위로 선택합니다. 전문 주석가(이 글의 저자)에게 각 instance가 instruction, instance input 및 instance output 측면에서 올바른지 여부를 레이블로 지정하도록 요청했습니다. 표 2의 평가 결과에 따르면 대부분의 생성된 instructions는 의미 있는 instructions인 반면, 생성된 instances에는 약간의 노이즈가 포함될 수 있습니다(합리적인 범위 내). 그러나 생성에 오류가 포함되어 있더라도 대부분 올바른 형식이거나 부분적으로 올바른 형식이므로 모델이 instructions를 따르도록 훈련하는 데 유용한 지침을 제공할 수 있다는 것을 발견했습니다. 표 10과 11에는 좋은 예와 나쁜 예를 각각 여러 개 나열했습니다.
지금까지 생성된 데이터의 양과 다양성을 보여드렸지만, 그 품질은 여전히 불확실합니다. 이를 조사하기 위해 200개의 명령어를 무작위로 샘플링하고 명령어당 1개의 인스턴스를 무작위로 선택합니다. 전문 주석가(이 글의 저자)에게 각 인스턴스가 명령어, 인스턴스 입력 및 인스턴스 출력 측면에서 올바른지 여부를 레이블로 지정하도록 요청했습니다. 표 2의 평가 결과에 따르면 대부분의 생성된 명령어는 의미 있는 명령어인 반면, 생성된 인스턴스에는 약간의 노이즈가 포함될 수 있습니다(합리적인 범위 내). 그러나 생성에 오류가 포함되어 있더라도 대부분 올바른 형식이거나 부분적으로 올바른 형식이므로 모델이 지침을 따르도록 훈련하는 데 유용한 지침을 제공할 수 있다는 것을 발견했습니다. 표 10과 11에는 좋은 예와 나쁜 예를 각각 여러 개 나열했습니다.