We perform two tasks in output format analysis: language identification and repetition analysis. We utilized vLLM Kwon et al. (2023) to enhance efficiency. Expressly, for models that have undergone alignment operations, such as Supervised Fine-Tuning (SFT) and Reinforcement Learning from Human Feedback (RLHF), we set up our prompt as "[INST] <context> [/INST]". We configure the model with a max_tokens setting of 512 and utilize nuclear sampling, setting the temperature to 0.1 and top_p to 0.9.
출력 형식 분석에서는 언어 식별 및 반복 분석이라는 두 가지 작업을 수행합니다. 효율성을 높이기 위해 vLLM Kwon et al. (2023)을 활용했습니다. 특히, Supervised Fine-Tuning (SFT) 및 Reinforcement Learning from Human Feedback (RLHF)과 같은 alignment 작업을 거친 모델의 경우 프롬프트를 "[INST] <context> [/INST]"로 설정했습니다. 모델을 max_tokens 설정 512로 구성하고 nuclear sampling을 활용하여 temperature를 0.1로 설정하고 top_p를 0.9로 설정했습니다.
출력 형식 분석에서는 언어 식별 및 반복 분석이라는 두 가지 작업을 수행합니다. 효율성을 높이기 위해 vLLM Kwon et al. (2023)을 활용했습니다. 특히, 지도 미세 조정(SFT) 및 인간 피드백으로부터의 강화 학습(RLHF)과 같은 정렬 작업을 거친 모델의 경우 프롬프트를 "