\(\bullet\)_Balancing the instruction difficulty._ As the synthetic instructions tend to contain too easy or too hard ones, it is likely to result in training instability or even overfitting for LLMs. To explore the potential effects, we leverage the perplexity score of LLMs to estimate the difficulty of instructions and remove too easy or too hard instructions. To generate the same scale of instructions for fair comparison, we adopt a LLMA (7B) model to compute the perplexity for the 220K instructions from the large instruction dataset, and then keep 70K instructions of moderate perplexity scores as the difficulty-balanced dataset.
\(\bullet\)_지침 난이도 균형 조절._ 합성 지침은 너무 쉽거나 너무 어려운 지침을 포함하는 경향이 있으므로 LLM의 훈련 불안정성이나 심지어 과적합으로 이어질 수 있습니다. 잠재적인 영향을 탐색하기 위해 LLM의 perplexity 점수를 활용하여 지침의 난이도를 추정하고 너무 쉽거나 너무 어려운 지침을 제거합니다. 공정한 비교를 위해 동일한 규모의 지침을 생성하기 위해 대규모 지침 데이터 세트의 220K 지침에 대한 perplexity를 계산한 다음, 적당한 perplexity 점수를 가진 70K 지침을 난이도 균형 데이터 세트로 유지합니다.
\(\bullet\)_지침 난이도 균형 조절._ 합성 지침은 너무 쉽거나 너무 어려운 지침을 포함하는 경향이 있으므로 LLM의 훈련 불안정성이나 심지어 과적합으로 이어질 수 있습니다. 잠재적인 영향을 탐색하기 위해 LLM의 당혹스러움 점수를 활용하여 지침의 난이도를 추정하고 너무 쉽거나 너무 어려운 지침을 제거합니다. 공정한 비교를 위해 동일한 규모의 지침을 생성하기 위해 대규모 지침 데이터 세트의 220K 지침에 대한 당혹스러움을 계산한 다음, 적당한 당혹스러움 점수를 가진 70K 지침을 난이도 균형 데이터 세트로 유지합니다.