To approach GPT-3.5-matching human preferences, our finetuning dataset is curated from carefully selected multi-turn instruction-response pairs, annotated directly by our team of machine learning engineers then polished over multiple iterations of user feedback. As mentioned above, the size of our finetuning dataset is less than 10K, but improved over and over again across the model development timeline. Benefiting from the dataset's manageable size, we employed an extensive grid search to identify the optimal data composition, promote diversity, and discover effective hyperparameters. After 8-bit and 4-bit quantization, the final chat model can be deployed on consumer-grade GPUs nearly without performance degradation compared to the bf16 format.
GPT-3.5에 맞는 인간의 선호도에 접근하기 위해, 저희의 Fine-tuning 데이터 세트는 신중하게 선택된 다중 턴 Instruction-response 쌍에서 엄선하여 머신 러닝 엔지니어 팀이 직접 주석을 달고 여러 번의 사용자 피드백을 통해 다듬었습니다. 위에서 언급했듯이 Fine-tuning 데이터 세트의 크기는 10K 미만이지만 모델 개발 일정에 따라 반복적으로 개선되었습니다. 데이터 세트의 관리 가능한 크기의 이점을 살려 광범위한 그리드 검색을 통해 최적의 데이터 구성을 파악하고, 다양성을 증진하며, 효과적인 하이퍼파라미터를 발견했습니다. 8-bit 및 4-bit Quantization을 거친 최종 채팅 모델은 bf16 포맷과 비교하여 성능 저하 없이 소비자용 GPU에 배포할 수 있습니다.
GPT-3.5에 맞는 인간의 선호도에 접근하기 위해, 저희의 미세 조정 데이터 세트는 신중하게 선택된 다중 턴 명령어-응답 쌍에서 엄선하여 머신 러닝 엔지니어 팀이 직접 주석을 달고 여러 번의 사용자 피드백을 통해 다듬었습니다. 위에서 언급했듯이 미세 조정 데이터 세트의 크기는 10K 미만이지만 모델 개발 일정에 따라 반복적으로 개선되었습니다. 데이터 세트의 관리 가능한 크기의 이점을 살려 광범위한 그리드 검색을 통해 최적의 데이터 구성을 파악하고, 다양성을 증진하며, 효과적인 하이퍼파라미터를 발견했습니다. 8비트 및 4비트 양자화를 거친 최종 채팅 모델은 bf16 포맷과 비교하여 성능 저하 없이 소비자용 GPU에 배포할 수 있습니다.