* **Retrieval-on-demand** ([Retrieval]): Given an input and previous-step generation (if applicable), an LM determines whether the continuation requires factual grounding. No indicates retrieval is unnecessary as the sequence does not require factual grounding or may not be enhanced by knowledge retrieval, Yes indicates retrieval is necessary. We additionally have continue to use evidence, which indicates that a model can continue to use the evidence retrieved previously. For instance, a passage may contain rich factual information, and thus Self-Rag generates multiple segments based on the passage. * **Relevant** ([IsIsIs] ): Retrieved knowledge may not be always relevant to the input. This aspect indicates whether the evidence provides useful information (Relevant) or not (Irrelevant). * **Supported** ([IsIsIs] ): Attribution is the concept of whether the output is fully supported by certain evidence (Menick et al., 2022; Bohnet et al., 2022). This aspect judges how much information in the output is entailed by the evidence. We evaluate attributions in three scale, Fully supported, Partially supported, and No support / Contradictory, following Yue et al. (2023); Nakano et al. (2021). * **Useful** ([IsIsIs] ): Following the definitions from Liu et al. (2023), we define the perceived utility as whether the response is a helpful and informative answer to the query, independently from whether it is in fact factual or not. This can be also viewed as plausibility in Menick et al. (2022). For usefulness, we use a five-scale evaluation (1 is the lowest and 5 is the highest).
* **Retrieval-on-demand** ([Retrieval]): 입력과 이전 단계 생성이 주어지면 LM은 연속에 사실적 근거가 필요한지 여부를 결정합니다. 아니요는 시퀀스에 사실적 근거가 필요하지 않거나 지식 검색으로 향상시킬 수 없음을 나타내며, 예는 검색이 필요함을 나타냅니다. 또한 이전에 검색한 증거를 계속 사용할 수 있음을 나타내는 증거를 계속 사용합니다. 예를 들어, 한 구절에 풍부한 사실 정보가 포함되어 있을 수 있으므로 Self-RAG은 해당 구절을 기반으로 여러 세그먼트를 생성합니다. * **Relevant** ([IsIsIs]): 검색된 지식이 항상 입력과 관련이 있는 것은 아닙니다. 이 측면은 증거가 유용한 정보를 제공하는지(Relevant) 또는 제공하지 않는지(Irrelevant)를 나타냅니다. * **Supported** ([IsIsIs]): Attribution은 출력이 특정 증거에 의해 완전히 지원되는지 여부(Menick et al., 2022; Bohnet et al., 2022)를 나타내는 개념입니다. 이 측면은 출력의 정보가 증거에 의해 얼마나 많이 수반되는지를 판단합니다. 이 측면은 Yue et al. (2023); Nakano et al. (2021)에 따라 세 가지 척도, 즉 완전히 지원, 부분적으로 지원, 지원 없음/모순으로 기여도를 평가합니다. * **Useful** ([IsIsIs]): Liu et al. (2023)의 정의에 따라, 우리는 인지된 유용성을 답변이 사실에 근거하든 그렇지 않든 상관없이 쿼리에 대한 유용하고 유익한 답변인지 여부로 정의합니다. 이는 Menick et al. (2022)에서 타당성으로 볼 수도 있습니다. 유용성의 경우 5단계 평가(1은 가장 낮고 5는 가장 높음)를 사용합니다.
* **수요 시 검색** ([검색]): 입력과 이전 단계 생성이 주어지면 LM은 연속에 사실적 근거가 필요한지 여부를 결정합니다. 아니요는 시퀀스에 사실적 근거가 필요하지 않거나 지식 검색으로 향상시킬 수 없음을 나타내며, 예는 검색이 필요함을 나타냅니다. 또한 이전에 검색한 증거를 계속 사용할 수 있음을 나타내는 증거를 계속 사용합니다. 예를 들어, 한 구절에 풍부한 사실 정보가 포함되어 있을 수 있으므로 Self-Rag은 해당 구절을 기반으로 여러 세그먼트를 생성합니다. * **관련성** ([IsIsIs]): 검색된 지식이 항상 입력과 관련이 있는 것은 아닙니다. 이 측면은 증거가 유용한 정보를 제공하는지(관련성) 또는 제공하지 않는지(관련성 없음)를 나타냅니다. * **지원됨** ([IsIsIs]): 기여도는 출력이 특정 증거에 의해 완전히 지원되는지 여부(Menick et al., 2022; Bohnet et al., 2022)를 나타내는 개념입니다. 이 측면은 출력의 정보가 증거에 의해 얼마나 많이 수반되는지를 판단합니다. 이 측면은 Yue et al. (2023); Nakano et al. (2021)에 따라 세 가지 척도, 즉 완전히 지원, 부분적으로 지원, 지원 없음/모순으로 기여도를 평가합니다. * **유용성** ([IsIsIs]): Liu et al. (2023)의 정의에 따라, 우리는 인지된 유용성을 답변이 사실에 근거하든 그렇지 않든 상관없이 쿼리에 대한 유용하고 유익한 답변인지 여부로 정의합니다. 이는 Menick et al. (2022)에서 타당성으로 볼 수도 있습니다. 유용성의 경우 5단계 평가(1은 가장 낮고 5는 가장 높음)를 사용합니다.