Is training a reference model necessary?To score tokens, we need a high-quality reference model. This could be a base model trained with a small amount of high-quality data, or a performant open-source model. In fact, since we only need input logprobs or perplexity from reference model, we could even utilize more powerful proprietary model APIs. We can input tokens and use the log probabilities of the input returned by the API as reference scores. We leave this for future works.
참조 모델을 훈련해야 하나요? 토큰을 채점하려면 고품질의 참조 모델이 필요합니다. 이는 소량의 고품질 데이터로 훈련된 기본 모델이거나 성능이 뛰어난 오픈 소스 모델일 수 있습니다. 실제로 참조 모델에서 입력 logprobs 또는 perplexity만 필요하기 때문에 더 강력한 독점 모델 API를 활용할 수도 있습니다. 토큰을 입력하고 API에서 반환된 입력의 로그 확률을 참조 점수로 사용할 수 있습니다. 이 작업은 향후 작업으로 남겨두겠습니다.
참조 모델을 훈련해야 하나요?토큰을 채점하려면 고품질의 참조 모델이 필요합니다. 이는 소량의 고품질 데이터로 훈련된 기본 모델이거나 성능이 뛰어난 오픈 소스 모델일 수 있습니다. 실제로 참조 모델에서 입력 로그 확률 또는 당혹도만 필요하기 때문에 더 강력한 독점 모델 API를 활용할 수도 있습니다. 토큰을 입력하고 API에서 반환된 입력의 로그 확률을 참조 점수로 사용할 수 있습니다. 이 작업은 향후 작업으로 남겨두겠습니다.