For each prompt, we generate one response from each model respectively6. Annotators are then presented with the prompt and two responses: one generated by \(\mathtt{CQIA}\) model and one by another baseline model. Subsequently, we ask which response the annotator prefers, allowing for a "tie" selection when a better response is hard to judge.
각 프롬프트에 대해, 우리는 각각의 모델로부터 하나의 응답을 생성합니다. 이후 주석자에게 프롬프트와 두 개의 응답을 제시합니다: 하나는 \(\mathtt{CQIA}\) 모델이 생성한 응답이고, 다른 하나는 다른 기준 모델이 생성한 응답입니다. 그 후, 주석자에게 어느 응답을 선호하는지 묻고, 더 나은 응답을 판단하기 어려울 때는 "동점" 선택을 허용합니다.
각 프롬프트에 대해 각 모델에서 각각 하나의 응답을 생성합니다.6. 그런 다음 주석가에게 프롬프트와 두 개의 응답이 표시됩니다: 하나는 \(\mathtt{CQIA}\) 모델에서 생성한 응답이고 다른 하나는 다른 기준 모델에서 생성한 응답입니다. 그런 다음 주석가에게 어떤 응답을 선호하는지 묻고, 더 나은 응답을 판단하기 어려울 때 "동점" 선택을 허용합니다.