Finally, as shown in Section 5.5, although CodecLM is robust to moderate distribution mismatch, its performance still depends on how well the metadata captures the underlying instruction distribution. In practice, our collected seed instruction might differ from the actual test instructions. Or in the case that we directly create metadata from user specification, the users might change their mind at test time to send the model out-of-distribution instructions beyond the original metadata. As a consequence, CodecLM may suffer performance degradation under distribution mismatch. As a remedy, we can constantly collect user instruction traffic or user feedback to update the generated data from CodecLM, and continuously update the target LLM.
마지막으로, 섹션 5.5에서와 같이 CodecLM은 적당한 분포 불일치에 강하지만, 그 성능은 메타데이터가 기본 Instruction 분포를 얼마나 잘 포착하는지에 따라 달라집니다. 실제로 수집된 시드 Instruction은 실제 테스트 Instruction과 다를 수 있습니다. 또는 사용자가 사용자 사양에서 직접 메타데이터를 생성하는 경우, 사용자가 테스트 시점에 원래 메타데이터를 벗어난 Instruction을 모델에 전송하기로 마음을 바꿀 수 있습니다. 결과적으로 CodecLM은 분포 불일치로 인해 성능이 저하될 수 있습니다. 이에 대한 해결책으로, 사용자 Instruction 트래픽이나 사용자 피드백을 지속적으로 수집하여 CodecLM에서 생성된 데이터를 업데이트하고 대상 LLM을 지속적으로 업데이트할 수 있습니다.
마지막으로, 섹션 5.5에서와 같이 CodecLM은 적당한 분포 불일치에 강하지만, 그 성능은 메타데이터가 기본 명령어 분포를 얼마나 잘 포착하는지에 따라 달라집니다. 실제로 수집된 시드 명령어는 실제 테스트 명령어와 다를 수 있습니다. 또는 사용자가 사용자 사양에서 직접 메타데이터를 생성하는 경우, 사용자가 테스트 시점에 원래 메타데이터를 벗어난 명령어를 모델에 전송하기로 마음을 바꿀 수 있습니다. 결과적으로 코덱LM은 분포 불일치로 인해 성능이 저하될 수 있습니다. 이에 대한 해결책으로, 사용자 명령어 트래픽이나 사용자 피드백을 지속적으로 수집하여 CodecLM에서 생성된 데이터를 업데이트하고 대상 LLM을 지속적으로 업데이트할 수 있습니다.