Similar to the HumanAnnotatedConvQA, we construct another 1.5k user-agent turns with unanswerable annotations in this synthetic dataset. Since there is no annotations of the context location for the agent's answer, we construct synthetic unanswerable samples from SyntheticConvQA. Specifically, we first cut the document (for each dialogue) into different chunks. Then, we consider it as a valid unanswerable sample only when there are chunks that have "high overlaps" with the agent's answer to be removed and the rest of the chunks shows "low overlaps" with the agent's answer. We use the 4-gram recall score between each chunk and agent's answer (it measures the ratios of the answer's 4-gram phrases are within each chunk) as the metric to measure their overlaps, and consider it higher than 0.5 as "high overlaps" and lower than 0.1 as "low overlaps".
HumanAnnotatedConvQA와 유사하게, 이 합성 데이터 세트에는 답변할 수 없는 주석이 있는 또 다른 1.5k 사용자 에이전트 턴이 구성되어 있습니다. 에이전트의 답변에 대한 컨텍스트 위치에 대한 주석이 없으므로 SyntheticConvQA에서 답변할 수 없는 합성 샘플을 구성합니다. 구체적으로, 먼저 문서(각 대화마다)를 여러 청크로 잘라냅니다. 그런 다음 제거할 에이전트의 답변과 "high overlaps" 청크가 있고 나머지 청크가 에이전트의 답변과 "low overlaps"인 경우에만 유효한 무답 샘플로 간주합니다. 각 청크와 에이전트의 답변 사이의 4-gram recall 점수(답변의 4-gram 구문이 각 청크 내에 있는 비율을 측정)를 중복 여부를 측정하는 지표로 사용하며, 0.5보다 높으면 "high overlaps"으로, 0.1보다 낮으면 "low overlaps"으로 간주합니다.
HumanAnnotatedConvQA와 유사하게, 이 합성 데이터 세트에는 답변할 수 없는 주석이 있는 또 다른 1.5k 사용자 에이전트 턴이 구성되어 있습니다. 에이전트의 답변에 대한 컨텍스트 위치에 대한 주석이 없으므로 SyntheticConvQA에서 답변할 수 없는 합성 샘플을 구성합니다. 구체적으로, 먼저 문서(각 대화마다)를 여러 청크로 잘라냅니다. 그런 다음 제거할 에이전트의 답변과 "중복도가 높은" 청크가 있고 나머지 청크가 에이전트의 답변과 "중복도가 낮은" 경우에만 유효한 무답 샘플로 간주합니다. 각 청크와 에이전트의 답변 사이의 4그램 회상 점수(답변의 4그램 구문이 각 청크 내에 있는 비율을 측정)를 중복 여부를 측정하는 지표로 사용하며, 0.5보다 높으면 "중복이 높은 것"으로, 0.1보다 낮으면 "중복이 낮은 것"으로 간주합니다.