For language identification analysis, we utilize the FastText Joulin et al. (2016, 2016) language identification model to detect the language of the generated tokens. As for repetition analysis, we assess the proportion of duplicated n-gram tokens at the BPE level within the combination of the generated output and the prompt.
언어 식별 분석을 위해, 우리는 FastText Joulin et al. (2016, 2016) 언어 식별 모델을 사용하여 생성된 토큰의 언어를 감지합니다. 반복 분석의 경우, 생성된 출력과 프롬프트의 조합 내에서 BPE 수준에서 중복된 n-gram 토큰의 비율을 평가합니다.
언어 식별 분석의 경우, FastText Joulin et al.(2016, 2016) 언어 식별 모델을 활용하여 생성된 토큰의 언어를 감지합니다. 반복 분석의 경우, 생성된 출력과 프롬프트의 조합 내에서 BPE 수준에서 중복된 n-그램 토큰의 비율을 평가합니다.