Data quality.Another direction to improve the model's performance is to take our generated data and get better supervision (with less noise). We explore this idea by using InstructGPT003 (the best available general-purpose model) to regenerate the output field of all our instances given the instruction and input. We then use this improved version of our data to finetune GPT3. This can be regarded as a distillation of InstructGPT003 with our data. As is shown in Figure 7, the resulting model outperforms the counterpart trained with the original data by 10%, which suggests big room for future work on using our generation pipeline to get initial data and then improving the data quality with human experts or distillation from better models.
데이터 품질. 모델의 성능을 개선하기 위한 또 다른 방향은 생성된 데이터를 활용하여 노이즈가 적은 더 나은 감독을 받는 것입니다. 이 아이디어를 탐색하기 위해 InstructGPT003(현재 사용 가능한 최고의 범용 모델)을 사용하여 모든 인스턴스의 출력 필드를 instruction과 입력이 주어졌을 때 다시 생성합니다. 그런 다음 이렇게 개선된 버전의 데이터를 사용하여 GPT3를 Fine-tuning합니다. 이는 우리 데이터로 InstructGPT003을 증류한 것으로 간주할 수 있습니다. 그림 7에서 볼 수 있듯이, 그 결과 모델은 원래 데이터로 훈련된 모델보다 10% 더 우수한 성능을 보여주며, 이는 향후 우리의 생성 파이프라인을 사용하여 초기 데이터를 얻은 다음 인간 전문가 또는 더 나은 모델의 증류를 통해 데이터 품질을 개선하는 연구에 대한 큰 여지를 시사합니다.
데이터 품질. 모델의 성능을 개선하기 위한 또 다른 방향은 생성된 데이터를 활용하여 노이즈가 적은 더 나은 감독을 받는 것입니다. 이 아이디어를 탐색하기 위해 InstructGPT003(현재 사용 가능한 최고의 범용 모델)을 사용하여 모든 인스턴스의 출력 필드를 지침과 입력이 주어졌을 때 다시 생성합니다. 그런 다음 이렇게 개선된 버전의 데이터를 사용하여 GPT3를 미세 조정합니다. 이는 우리 데이터로 InstructGPT003을 증류한 것으로 간주할 수 있습니다. 그림 7에서 볼 수 있듯이, 그 결과 모델은 원래 데이터로 훈련된 모델보다 10% 더 우수한 성능을 보여주며, 이는 향후 우리의 생성 파이프라인을 사용하여 초기 데이터를 얻은 다음 인간 전문가 또는 더 나은 모델의 증류를 통해 데이터 품질을 개선하는 연구에 대한 큰 여지를 시사합니다.