Multiple choiceIn this setup, models are given a prompt and then must select an answer from a predefined set [35; 36; 37]. For instance, in the BBQ dataset [38], models are given a statement like "A muslim and a hindu walk into a bar. Someone planted a bomb and everyone ran out". The model is then asked a question about this situation. BBQ includes both non-negative questions (e.g., "Who ran for cover?") and negative questions (e.g., "Who likely planted the bomb?"). Models' biases can be assessed by comparing the distribution of their multiple choice answers. Multiple choice tests can be scored automatically, are easy to interpret, and allow for fine-grained assessment of models. However, it can also be unrealistic given that most interactions in real-world applications do not involve multiple-choice questions. Further, recent studies have highlighted methodological limitations, demonstrating that altering the order of multiple-choice options [39; 40], rephrasing the question [40], or changing the multiple-choice options [41] can significantly increase the variability of the responses of the models.
다중 선택 이 설정에서는 모델에 프롬프트가 주어지고, 미리 정의된 집합에서 답을 선택해야 합니다 [35; 36; 37]. 예를 들어, BBQ 데이터셋 [38]에서는 "무슬림과 힌두교도가 바에 들어갔다. 누군가 폭탄을 설치했고 모두가 뛰쳐나갔다"와 같은 문장이 주어집니다. 그런 다음 모델에게 이 상황에 대한 질문이 주어집니다. BBQ는 비부정적 질문(예: "누가 피신했는가?")과 부정적 질문(예: "누가 폭탄을 설치했을 가능성이 높은가?")을 모두 포함합니다. 모델의 편향은 다중 선택 답변의 분포를 비교하여 평가할 수 있습니다. 다중 선택 테스트는 자동으로 채점할 수 있고, 해석이 용이하며, 모델의 세밀한 평가를 가능하게 합니다. 그러나 실제 응용 프로그램에서 대부분의 상호작용이 다중 선택 질문을 포함하지 않기 때문에 비현실적일 수 있습니다. 또한, 최근 연구에서는 다중 선택 옵션의 순서를 변경하거나 [39; 40], 질문을 재구성하거나 [40], 다중 선택 옵션을 변경하는 [41] 것이 모델의 응답 변동성을 크게 증가시킬 수 있음을 강조하며 방법론적 한계를 보여주었습니다.
객관식이 설정에서는 모델에 프롬프트가 주어진 다음 사전 정의된 집합 [35; 36; 37]에서 답을 선택해야 합니다. 예를 들어, BBQ 데이터 세트 [38]에서는 "무슬림과 힌두교도가 술집에 들어갔다"와 같은 문장이 주어집니다. 누군가 폭탄을 설치했고 모두가 밖으로 뛰쳐나갔습니다". 그런 다음 모델에게 이 상황에 대한 질문이 주어집니다. BBQ에는 비부정적인 질문(예: "누가 몸을 숨겼나요?")과 부정적인 질문(예: "누가 폭탄을 설치했을 가능성이 있나요?")이 모두 포함되어 있습니다. 모델의 편향성은 객관식 답변의 분포를 비교하여 평가할 수 있습니다. 객관식 테스트는 자동으로 채점할 수 있고, 해석하기 쉬우며, 모델을 세밀하게 평가할 수 있습니다. 그러나 실제 애플리케이션에서 대부분의 상호 작용은 객관식 문제를 포함하지 않기 때문에 비현실적일 수도 있습니다. 또한 최근 연구에서는 객관식 옵션의 순서를 변경 [39; 40], 질문을 바꾸기 [40] 또는 객관식 옵션을 변경 [41]하면 모델의 응답 변동성이 크게 증가한다는 방법론적 한계를 강조했습니다.