We augment the metadata to 200 by mix-and-matching use cases and skills from different instructions. We randomly sample one use case from \(\{u_{i}\}_{i=1}^{n}\), and pair it with one or more skills sampled without replacement from \(\bigcup_{i=1}^{n}\mathbf{s}_{i}\). Although most skills are generalizable between use cases, we still conduct manual sanity check to exclude unreasonable use case and skills pairs. We align our hyper-parameters for iteratively improving instructions via Self-Rubrics with prior work (Xu et al., 2023): We generate 4 rubrics and corresponding actions, and at each iteration, we randomly choose 1 action for improving instruction. For fair comparison with WizardLM, we also use at most 4 improve iterations for each instruction (we count basic prompt generation as the first iteration). For Contrastive Filtering, we always use the strong LLM itself as the scorer. We set the scoring scale to 10 and the filtering threshold to 3 for all experiments. We obtain the threshold by developing on the AlpacaEval Dubois et al. (2023) dataset. And we find this threshold works generally well across different settings. Moreover, for LLaMA-based models, using their Alpaca Taori et al. (2023) counterparts as the target LLM for response generation in Contrastive Filtering works better than the original model that is not instruction tuned. For metadata extraction, base instruction generation and Self-Rubrics, we use a inference temperature of 0.7. We set the maximum number of tokens for generation to 2048 for LLaMA-based models, and 1024 for PaLM-based models due to API constraints. Moreover, although we set aside 20% validation set for metadata extraction, we still report the performance on the full test set in the main paper, the reasons are as follows: (1) We observe removing the validation set from the full test benchmark will not change the relative superior performance of our method, the performance gap between our method and baselines remains almost the same. Therefore, we keep them in for better reproducibility. (2) By carefully checking the generated instructions, we notice that none of the generated instructions overlap with the original validation instructions, so no data leaking happens during the data generation process.
다른 instructions의 사용 사례와 기술을 혼합하여 메타데이터를 200개로 확장합니다. 우리는 \(\{u_{i}\}_{i=1}^{n}\)에서 사용 사례 하나를 무작위로 샘플링하고, 이를 \(\bigcup_{i=1}^{n}\mathbf{s}_{i}\)에서 대체하지 않고 샘플링한 하나 이상의 스킬과 짝을 이룹니다. 대부분의 스킬은 사용 사례 간에 일반화할 수 있지만, 불합리한 사용 사례와 스킬 쌍을 배제하기 위해 수동 건전성 검사를 수행합니다. 우리는 Self-Rubrics를 통해 instructions를 반복적으로 개선하기 위한 하이퍼파라미터를 이전 작업(Xu et al., 2023)에 맞춰 조정합니다: 4개의 rubrics과 해당 actions을 생성하고, 각 반복에서 instruction 개선을 위해 1개의 action을 무작위로 선택합니다. WizardLM과의 공정한 비교를 위해 각 instruction에 대해 최대 4개의 개선 반복을 사용합니다(기본 prompt 생성을 첫 번째 반복으로 계산합니다). Contrastive Filtering의 경우 항상 강력한 LLM 자체를 스코어링으로 사용합니다. 모든 실험에 대해 채점 척도는 10으로 설정하고 필터링 임계값은 3으로 설정합니다. 이 임계값은 AlpacaEval Dubois 등(2023) 데이터 세트를 개발하여 얻습니다. 그리고 이 임계값은 다양한 설정에서 일반적으로 잘 작동하는 것으로 나타났습니다. 또한, LLaMA 기반 모델의 경우, Contrastive Filtering에서 응답 생성을 위한 대상 LLM으로 Alpaca Taori 등(2023)을 사용하는 것이 instruction 튜닝이 되지 않은 원래 모델보다 더 나은 성능을 보입니다. 메타데이터 추출, 기본 instruction 생성 및 Self-Rubrics의 경우 추론 온도를 0.7로 설정합니다. LLaMA 기반 모델의 경우 생성을 위한 최대 토큰 수를 2048로 설정하고, API 제약으로 인해 PaLM 기반 모델의 경우 1024로 설정합니다. 또한 메타데이터 추출을 위해 20%의 유효성 검사 세트를 따로 설정했지만, 메인 논문에서는 전체 테스트 세트에 대한 성능을 보고하는데, 그 이유는 다음과 같습니다: (1) 전체 테스트 벤치마크에서 유효성 검사 세트를 제거해도 우리 방법의 상대적인 우수한 성능은 변하지 않으며, 우리 방법과 베이스라인 간의 성능 격차는 거의 동일하게 유지됩니다. 따라서 재현 가능성을 높이기 위해 유효성 검사 세트를 유지합니다. (2) 생성된 instructions를 주의 깊게 확인한 결과, 생성된 instructions 중 원래 유효성 검사 instructions과 겹치는 부분이 없으므로 데이터 생성 과정에서 데이터 유출이 발생하지 않습니다.
다른 지침의 사용 사례와 기술을 혼합하여 메타데이터를 200개로 확장합니다. 우리는 \(u_{i}\}_{i=1}^{n}\)에서 사용 사례 하나를 무작위로 샘플링하고, 이를 \(\bigcup_{i=1}^{n}\mathbf{s}_{i}\)에서 대체하지 않고 샘플링한 하나 이상의 스킬과 짝을 이룹니다. 대부분의 스킬은 사용 사례 간에 일반화할 수 있지만, 불합리한 사용 사례와 스킬 쌍을 배제하기 위해 수동 건전성 검사를 수행합니다. 셀프 루브릭을 통해 지침을 반복적으로 개선하기 위한 하이퍼파라미터를 이전 작업(Xu et al., 2023)에 맞춰 조정합니다: 4개의 루브릭과 해당 액션을 생성하고, 각 반복에서 지침 개선을 위해 1개의 액션을 무작위로 선택합니다. WizardLM과의 공정한 비교를 위해 각 지침에 대해 최대 4개의 개선 반복을 사용합니다(기본 프롬프트 생성을 첫 번째 반복으로 계산합니다). 대조 필터링의 경우 항상 강력한 LLM 자체를 스코어링으로 사용합니다. 모든 실험에 대해 채점 척도는 10으로 설정하고 필터링 임계값은 3으로 설정합니다. 이 임계값은 AlpacaEval Dubois 등(2023) 데이터 세트를 개발하여 얻습니다. 그리고 이 임계값은 다양한 설정에서 일반적으로 잘 작동하는 것으로 나타났습니다. 또한, LLaMA 기반 모델의 경우, 대조 필터링에서 응답 생성을 위한 대상 LLM으로 Alpaca Taori 등(2023)을 사용하는 것이 지침 튜닝이 되지 않은 원래 모델보다 더 나은 성능을 보입니다. 메타데이터 추출, 기본 지침 생성 및 셀프 루브릭의 경우 추론 온도를 0.7로 설정합니다. LLaMA 기반 모델의 경우 생성을 위한 최대 토큰 수를 2048로 설정하고, API 제약으로 인해 PaLM 기반 모델의 경우 1024로 설정합니다. 또한 메타데이터 추출을 위해 20%의 유효성 검사 세트를 따로 설정했지만, 메인 논문에서는 전체 테스트 세트에 대한 성능을 보고하는데, 그 이유는 다음과 같습니다: (1) 전체 테스트 벤치마크에서 유효성 검사 세트를 제거해도 우리 방법의 상대적인 우수한 성능은 변하지 않으며, 우리 방법과 베이스라인 간의 성능 격차는 거의 동일하게 유지됩니다. 따라서 재현 가능성을 높이기 위해 유효성 검사 세트를 유지합니다. (2) 생성된 지침을 주의 깊게 확인한 결과, 생성된 지침 중 원래 유효성 검사 지침과 겹치는 부분이 없으므로 데이터 생성 과정에서 데이터 유출이 발생하지 않습니다.