All models adopt the same generation configurations, with deterministic decoding. We compute ROUGE-L with a Japanese language detector to replace non-Japanese responses with empty texts, resulting in a score of zero for non-Japanese responses. To be consistent with our LLM experiments in Section 4.1, we also employed fasttext [23, 24] for this language detection task. However, we made an exception for cases where the ground-truth answer itself contains non-Japanese but commonly seen words in Japanese texts (e.g., a widely recognized acronym such as "UFO"). In these instances, non-Japanese responses from models are not converted to empty texts.
모든 모델은 동일한 generation 구성을 채택하며, 결정론적 decoding을 사용합니다. 일본어가 아닌 응답을 빈 텍스트로 대체하여 일본어 감지기로 ROUGE-L을 계산하여 일본어가 아닌 응답에 대해 0점을 부여합니다. 4.1절의 LLM 실험과 일관성을 유지하기 위해 이 언어 감지 작업에도 fasttext [23, 24]를 사용했습니다. 그러나 기준답변 자체에 일본어가 아닌 단어가 포함되어 있지만 일본어 텍스트에서 흔히 볼 수 있는 단어(예: "UFO"와 같이 널리 알려진 약어)가 포함된 경우는 예외로 삼았습니다. 이러한 경우 모델의 일본어가 아닌 응답은 빈 텍스트로 변환되지 않습니다.
모든 모델은 동일한 세대 구성을 채택하며, 결정론적 디코딩을 사용합니다. 일본어가 아닌 응답을 빈 텍스트로 대체하여 일본어 감지기로 ROUGE-L을 계산하여 일본어가 아닌 응답에 대해 0점을 부여합니다. 4.1절의 LLM 실험과 일관성을 유지하기 위해 이 언어 감지 작업에도 fasttext [23, 24]를 사용했습니다. 그러나 기준답변 자체에 일본어가 아닌 단어가 포함되어 있지만 일본어 텍스트에서 흔히 볼 수 있는 단어(예: "UFO"와 같이 널리 알려진 약어)가 포함된 경우는 예외로 삼았습니다. 이러한 경우 모델의 일본어가 아닌 응답은 빈 텍스트로 변환되지 않습니다.