confidence marker in the sentence, the marker is masked and the rest of the sentence is used for retrieval. Yu et al. (2023) also employed LM to determine the timing of retrieval. However, instead of generating low-confidence markers using LM, they had LM score the output before and after retrieval.Mallen et al. (2022)'s approach differed from the traditional method of having LMs generate low-confidence markers. Instead, they used Wikipedia page views as a measure of prevalence and converted knowledge triples of wiki data with varying levels of prevalence into natural language questions anchored to the original entity and relation types. This approach is more objective and avoids subjective evaluations. For tasks that required reasoning, both He et al. (2022) and Khattab et al. (2022) used chain of thought(CoT) to determine when to perform a retrieval.
문장에서 신뢰 마커를 사용하면 마커가 마스킹되고 나머지 문장이 retrieval에 사용됩니다. Yu et al. (2023)도 retrieval 시기를 결정하기 위해 LM을 사용했습니다. 그러나 LM을 사용하여 신뢰도가 낮은 마커를 생성하는 대신 retrieval 전후의 출력을 LM으로 채점했습니다. Mallen et al. (2022)의 접근 방식은 LM이 신뢰도가 낮은 마커를 생성하는 기존 방식과는 달랐습니다. 대신, 그들은 유행의 척도로 Wikipedia 페이지 조회수를 사용했고, 다양한 수준의 유행을 가진 위키 데이터의 지식 트리플을 원래의 엔티티와 관계 유형에 고정된 자연어 질문으로 변환했습니다. 이 접근 방식은 보다 객관적이며 주관적인 평가를 피할 수 있습니다. 추론이 필요한 작업의 경우 He et al. (2022)과 Khattab et al. (2022)은 Chain of Thought (CoT)을 사용하여 retrieval을 수행할 시기를 결정했습니다.
문장에서 신뢰 마커를 사용하면 마커가 마스킹되고 나머지 문장이 검색에 사용됩니다. Yu et al. (2023)도 검색 시기를 결정하기 위해 LM을 사용했습니다. 그러나 LM을 사용하여 신뢰도가 낮은 마커를 생성하는 대신 검색 전후의 출력을 LM으로 채점했습니다.Mallen et al. (2022)의 접근 방식은 LM이 신뢰도가 낮은 마커를 생성하는 기존 방식과는 달랐습니다. 대신, 그들은 유행의 척도로 Wikipedia 페이지 조회수를 사용했고, 다양한 수준의 유행을 가진 위키 데이터의 지식 트리플을 원래의 엔티티와 관계 유형에 고정된 자연어 질문으로 변환했습니다. 이 접근 방식은 보다 객관적이며 주관적인 평가를 피할 수 있습니다. 추론이 필요한 작업의 경우 He et al. (2022)과 Khattab et al. (2022)은 생각의 사슬(CoT)을 사용하여 검색을 수행할 시기를 결정했습니다.