**Implementation Details of CodecLM.** We split all benchmarks into 20% validation set and 80% evaluation set. We extract the instruction metadata from the validation set, see Appendix A.3 for more details. Depending on the specified total data size, we prompt the strong LLM to generate equal number of base instruction per metadata. We generate 500-8000 synthetic data throughout the experiments. We generate 4 rubrics and corresponding actions. At each iteration, we randomly choose 1 action for improving instruction. We run Self-Rubrics at most 4 iterations. For Contrastive Filtering, We set the scoring scale to 10 and the filtering threshold to 3 for all experiments. We align these configurations with Xu et al. (2023) and leave more detailed rationales of these configurations, additional hyperparameter settings, and training details in Appendix A.3-A.4.
**코덱LM의 구현 세부 사항.** 모든 벤치마크를 20% validation set와 80% evaluation set로 분할합니다. validation set에서 instruction metadata를 추출하고 자세한 내용은 부록 A.3을 참조하세요. 지정된 총 데이터 크기에 따라 강력한 LLM에 metadata당 동일한 수의 base instruction을 생성하도록 프롬프트합니다. 실험 전반에 걸쳐 500~8000개의 synthetic data를 생성합니다. 4개의 rubrics와 해당 actions를 생성합니다. 각 반복마다 instruction을 개선하기 위해 1개의 action을 무작위로 선택합니다. 최대 4회 반복하여 Self-Rubrics를 실행합니다. Contrastive Filtering의 경우, 모든 실험에 대해 scoring scale은 10으로 설정하고 filtering threshold는 3으로 설정합니다. 이러한 configuration은 Xu 등(2023)에 맞춰 조정하였으며, 이러한 configuration에 대한 자세한 근거와 추가 hyperparameter 설정 및 training 세부 사항은 부록 A.3-A.4에 남겨 두었습니다.
**코덱LM의 구현 세부 사항.** 모든 벤치마크를 20% 유효성 검사 세트와 80% 평가 세트로 분할합니다. 유효성 검사 세트에서 명령 메타데이터를 추출하고 자세한 내용은 부록 A.3을 참조하세요. 지정된 총 데이터 크기에 따라 강력한 LLM에 메타데이터당 동일한 수의 기본 명령을 생성하도록 프롬프트합니다. 실험 전반에 걸쳐 500~8000개의 합성 데이터를 생성합니다. 4개의 루브릭과 해당 작업을 생성합니다. 각 반복마다 명령을 개선하기 위해 1개의 작업을 무작위로 선택합니다. 최대 4회 반복하여 셀프 루브릭을 실행합니다. 대조 필터링의 경우, 모든 실험에 대해 채점 척도는 10으로 설정하고 필터링 임계값은 3으로 설정합니다. 이러한 구성은 Xu 등(2023)에 맞춰 조정하였으며, 이러한 구성에 대한 자세한 근거와 추가 하이퍼파라미터 설정 및 훈련 세부 사항은 부록 A.3-A.4에 남겨 두었습니다.