We use the following techniques to improve prompt distribution selection, response formatting, and chain-of-thought formatting: (1). for prompt distribution selection, drawing inspiration from WizardLM[83], we develop compound instructions and progressively evolved them to increase their complexity. This approach has significantly reduced the size of SFT data in our experiments; (2). for response formatting, we generally use a default style extended from LIMA[94]. Overall, the responses are structured in an introduction-body-conclusion format where the body is usually a list of bullet point; (3). for CoT data formatting, we have use a "Step-Back" pattern, inspired by Zheng et al. [92], by performing abstraction to formulate higher-level solutions before delving into reasoning about the original, more concrete questions.
프롬프트 배포 선택, 응답 서식 지정 및 chain-of-thought 서식을 개선하기 위해 다음과 같은 기술을 사용합니다: (1). 프롬프트 배포 선택의 경우, WizardLM[83]에서 영감을 얻어 compound instructions를 개발하고 점진적으로 복잡성을 높이기 위해 진화시켰습니다. 이 접근 방식을 통해 실험에서 Supervised Fine-tuning (SFT) 데이터의 크기를 크게 줄였습니다; (2). 응답 서식 지정의 경우, 일반적으로 LIMA[94]에서 확장한 기본 스타일을 사용합니다. 전반적으로 응답은 서론-본문-결론 형식으로 구성되며, 본문은 일반적으로 글머리 기호 목록입니다; (3). chain-of-thought (CoT) 데이터 서식 지정의 경우, Zheng et al. [92]에서 영감을 받아 'Step-Back' 패턴을 사용하여 원래의 구체적인 질문에 대한 추론에 들어가기 전에 추상화를 수행하여 더 높은 수준의 솔루션을 공식화합니다.
프롬프트 배포 선택, 응답 서식 지정 및 생각의 사슬 서식을 개선하기 위해 다음과 같은 기술을 사용합니다: (1). 프롬프트 배포 선택의 경우, WizardLM[83]에서 영감을 얻어 복합 명령을 개발하고 점진적으로 복잡성을 높이기 위해 진화시켰습니다. 이 접근 방식을 통해 실험에서 SFT 데이터의 크기를 크게 줄였습니다; (2). 응답 서식 지정의 경우, 일반적으로 LIMA[94]에서 확장한 기본 스타일을 사용합니다. 전반적으로 응답은 서론-본문-결론 형식으로 구성되며, 본문은 일반적으로 글머리 기호 목록입니다; (3). CoT 데이터 서식 지정의 경우, Zheng et al. [92]에서 영감을 받아 '단계 후퇴' 패턴을 사용하여 원래의 구체적인 질문에 대한 추론에 들어가기 전에 추상화를 수행하여 더 높은 수준의 솔루션을 공식화합니다.