Quality is All You NeedOur finetuning dataset consists of less than 10K multi-turn instruction-response dialog pairs, with each and every one of the entry constructed and polished over multiple iterations and from user feedback. We take this approach because in our preliminary experiments, we observe that compared to the open-source data of several hundred thousand entries, the results from a smaller, manually annotated dataset are superior. These observations align with those reported in Gemini Team et al. [23], Touvron et al. [77], Zhou et al. [94].
품질은 필요한 전부입니다. 당사의 Fine-tuning 데이터 세트는 10,000개 미만의 다중 턴 Instruction-response 대화 쌍으로 구성되며, 각각의 항목은 여러 번의 반복과 사용자 피드백을 통해 구성되고 다듬어졌습니다. 예비 실험에서 수십만 개의 항목이 포함된 오픈 소스 데이터에 비해 수작업으로 주석을 달은 소규모 데이터 세트의 결과가 더 우수하다는 것을 관찰했기 때문에 이러한 접근 방식을 취합니다. 이러한 관찰 결과는 Gemini Team 등[23], Touvron 등[77], Zhou 등[94]에서 보고한 결과와 일치합니다.
품질은 필요한 전부입니다당사의 미세 조정 데이터 세트는 10,000개 미만의 다중 턴 명령어-응답 대화 쌍으로 구성되며, 각각의 항목은 여러 번의 반복과 사용자 피드백을 통해 구성되고 다듬어졌습니다. 예비 실험에서 수십만 개의 항목이 포함된 오픈 소스 데이터에 비해 수작업으로 주석을 달은 소규모 데이터 세트의 결과가 더 우수하다는 것을 관찰했기 때문에 이러한 접근 방식을 취합니다. 이러한 관찰 결과는 Gemini Team 등[23], Touvron 등[77], Zhou 등[94]에서 보고한 결과와 일치합니다.