**Exploration on Distribution Matching.** As shown by previous results, generating metadata extracted from the downstream instruction distribution indeed helps. However, in practice, the extracted or human-written metadata may not be able to precisely characterize the instruction distribution. Therefore, it is necessary to explore the performance of CodecLM when the distribution represented by instruction metadata does not fully match the test distribution. As the true test distribution is complicated and not known as a prior, we approximate various extent of distribution matching by random subsampling from the set of metadata \(\mathcal{M}\). To control the effect of data quantity, we keep the total number of instruction-response pairs the same for each case. For example, when subsampling \(20\%\) of \(\mathcal{M}\), we prompt the strong LLM to generate 5 times more instructions for each metadata accordingly. The result is shown in the upper part of Figure 4, and we did observe the trend that the better instruction metadata captures the underlying distribution, the better performance the target LLM can achieve. Moreover, when the metadata matching proportion is equal or greater than \(60\%\), we obtain close performance as the fully-matched result. This observation highlights CodecLM's robustness under potential instruction metadata mismatch.
**Exploration on Distribution Matching.** 이전 결과에서 볼 수 있듯이 다운스트림 instruction 분포에서 추출한 메타데이터를 생성하는 것이 실제로 도움이 됩니다. 그러나 실제로 추출된 메타데이터나 사람이 작성한 메타데이터는 instruction 분포를 정확하게 특성화하지 못할 수도 있습니다. 따라서 instruction 메타데이터가 나타내는 분포가 테스트 분포와 완전히 일치하지 않는 경우 CodecLM의 성능을 탐색할 필요가 있습니다. 실제 테스트 분포는 복잡하고 사전으로 알 수 없기 때문에 메타데이터 집합 \(\mathcal{M}\)에서 무작위로 하위 샘플링하여 다양한 정도의 분포 일치를 근사화합니다. 데이터 수량의 효과를 제어하기 위해 각 경우의 총 instruction-response 쌍 수를 동일하게 유지합니다. 예를 들어, \(\mathcal{M}\)의 \(20\%\)를 하위 샘플링할 때, 강력한 LLM이 각 메타데이터에 대해 5배 더 많은 instruction을 생성하도록 프롬프트합니다. 그 결과는 그림 4의 위쪽에 나와 있으며, instruction 메타데이터가 기본 분포를 더 잘 포착할수록 대상 LLM이 더 나은 성능을 달성할 수 있다는 경향을 관찰할 수 있었습니다. 또한 메타데이터 매칭 비율이 \(60\%\) 이상일 때 완전히 일치하는 결과와 거의 유사한 성능을 얻었습니다. 이 관찰 결과는 잠재적인 instruction 메타데이터 불일치 시 CodecLM의 robustness를 강조합니다.
**분포 매칭에 대한 탐색**. 이전 결과에서 볼 수 있듯이 다운스트림 명령어 분포에서 추출한 메타데이터를 생성하는 것이 실제로 도움이 됩니다. 그러나 실제로 추출된 메타데이터나 사람이 작성한 메타데이터는 명령어 분포를 정확하게 특성화하지 못할 수도 있습니다. 따라서 명령어 메타데이터가 나타내는 분포가 테스트 분포와 완전히 일치하지 않는 경우 CodecLM의 성능을 탐색할 필요가 있습니다. 실제 테스트 분포는 복잡하고 사전으로 알 수 없기 때문에 메타데이터 집합 \mathcal{M}\)에서 무작위로 하위 샘플링하여 다양한 정도의 분포 일치를 근사화합니다. 데이터 수량의 효과를 제어하기 위해 각 경우의 총 명령어-응답 쌍 수를 동일하게 유지합니다. 예를 들어, \mathcal{M}\)의 \(20\%\)를 하위 샘플링할 때, 강력한 LLM이 각 메타데이터에 대해 5배 더 많은 명령어를 생성하도록 프롬프트합니다. 그 결과는 그림 4의 위쪽에 나와 있으며, 명령 메타데이터가 기본 분포를 더 잘 포착할수록 대상 LLM이 더 나은 성능을 달성할 수 있다는 경향을 관찰할 수 있었습니다. 또한 메타데이터 매칭 비율이 60\% 이상일 때 완전히 일치하는 결과와 거의 유사한 성능을 얻었습니다. 이 관찰 결과는 잠재적인 명령 메타데이터 불일치 시 CodecLM의 견고성을 강조합니다.