Detailed experimental settings for individual datasets.For OpenQA datasets, we set the maximum new token number to 100 tokens. For closed-set tasks (PubMedHealth and ARC-C), we set the maximum new token length to 50 for all baselines. For Self-Rag inference on PubMed and ARC-C, instead of determining the output with the highest score 4 as in other tasks, we aggregate the scores for each option and select the answer option with the highest score. We found in zero-shot settings of fact checking, some LLMs can generate capitalized class labels (e.g., True) while our gold labels are lower-cased. Therefore, across different LLMs, for fact checking, we lowercase the predictions. In multiple choice tasks, we found some models generate answers in slightly different ways (e.g., (A) instead of A). We slightly modify instructions for each LLM to avoid such format violations, and further conduct string matching between each candidate and model predictions if format violations still remain. After that processing, in closed set tasks, model predictions match one of the gold classes in almost all cases. For ALCE, we found that Llama2-chat tend to generate significantly lower outputs than other models (e.g., on average, their output is nearly 100 token, while ChatGPT generates 40 tokens on average), resulting in inflated str-em scores. We limit the maximum generation length to 100 tokens for all baselines to avoid this issue, rather than the original 300 tokens in the ALCE paper. Consequently, all of the baseline output length is within 30-60 tokens. For FactScore, we set the maximum new token length to 500 for baselines and 200 for Self-Rag at each segment level.
개별 데이터 세트에 대한 자세한 실험 설정. OpenQA 데이터 세트의 경우 최대 새 token 수를 100 token으로 설정했습니다. 폐쇄형 세트 작업(PubMedHealth 및 ARC-C)의 경우 모든 baseline에 대해 최대 새 token 길이를 50으로 설정했습니다. PubMed 및 ARC-C에 대한 Self-Rag 추론의 경우, 다른 작업과 같이 가장 높은 점수 4를 가진 출력을 결정하는 대신 각 옵션에 대한 점수를 집계하고 가장 높은 점수를 가진 답변 옵션을 선택합니다. 팩트 체크의 zero-shot 설정에서 일부 LLM은 대문자로 된 클래스 레이블(예: True)을 생성하는 반면 gold 레이블은 소문자로 되어 있습니다. 따라서 여러 LLM에 걸쳐 팩트 체크의 경우 예측을 소문자로 처리합니다. 객관식 문제에서 일부 모델이 약간 다른 방식으로 답안을 생성하는 경우(예: A 대신 (A))가 발견되었습니다. 이러한 형식 위반을 피하기 위해 각 LLM에 대한 instruction을 약간 수정하고, 형식 위반이 여전히 남아 있는 경우 각 후보와 모델 예측 간의 문자열 일치성을 추가로 검사합니다. 이러한 처리 후 폐쇄형 세트 작업에서는 거의 모든 경우에 모델 예측이 gold 클래스 중 하나와 일치합니다. ALCE의 경우, Llama2-chat은 다른 모델보다 훨씬 낮은 출력을 생성하는 경향이 있는 것으로 나타났습니다(예: 평균적으로 출력이 거의 100 token인 반면 ChatGPT는 평균적으로 40 token을 생성함). 이 문제를 피하기 위해 모든 baseline에 대해 최대 생성 길이를 100 token으로 제한했으며, ALCE 논문의 원래 300 token이 아닌 100 token으로 제한했습니다. 결과적으로 모든 baseline 출력 길이는 30~60 token 이내입니다. FactScore의 경우, 각 세그먼트 수준에서 baseline은 최대 새 token 길이를 500으로, Self-Rag는 200으로 설정했습니다.
개별 데이터 세트에 대한 자세한 실험 설정.OpenQA 데이터 세트의 경우 최대 새 토큰 수를 100 토큰으로 설정했습니다. 폐쇄형 세트 작업(PubMedHealth 및 ARC-C)의 경우 모든 베이스라인에 대해 최대 새 토큰 길이를 50으로 설정했습니다. PubMed 및 ARC-C에 대한 Self-Rag 추론의 경우, 다른 작업과 같이 가장 높은 점수 4를 가진 출력을 결정하는 대신 각 옵션에 대한 점수를 집계하고 가장 높은 점수를 가진 답변 옵션을 선택합니다. 팩트 체크의 제로 샷 설정에서 일부 LLM은 대문자로 된 클래스 레이블(예: True)을 생성하는 반면 골드 레이블은 소문자로 되어 있습니다. 따라서 여러 LLM에 걸쳐 팩트 체크의 경우 예측을 소문자로 처리합니다. 객관식 문제에서 일부 모델이 약간 다른 방식으로 답안을 생성하는 경우(예: A 대신 (A))가 발견되었습니다. 이러한 형식 위반을 피하기 위해 각 LLM에 대한 지침을 약간 수정하고, 형식 위반이 여전히 남아 있는 경우 각 후보와 모델 예측 간의 문자열 일치성을 추가로 검사합니다. 이러한 처리 후 폐쇄형 세트 작업에서는 거의 모든 경우에 모델 예측이 골드 클래스 중 하나와 일치합니다. ALCE의 경우, Llama2-chat은 다른 모델보다 훨씬 낮은 출력을 생성하는 경향이 있는 것으로 나타났습니다(예: 평균적으로 출력이 거의 100 토큰인 반면 ChatGPT는 평균적으로 40 토큰을 생성함). 이 문제를 피하기 위해 모든 기준에 대해 최대 생성 길이를 100 토큰으로 제한했으며, ALCE 논문의 원래 300 토큰이 아닌 100 토큰으로 제한했습니다. 결과적으로 모든 기준 출력 길이는 30~60 토큰 이내입니다. 팩트스코어의 경우, 각 세그먼트 수준에서 기준은 최대 새 토큰 길이를 500으로, 셀프래그는 200으로 설정했습니다.