Lin et al. (2023b) propose an approach for instruction-tuning. They update the query encoder using a generalised LM supervised retrieval (LSR) (Shi et al., 2023b)training target that completes the computation through a combination of supervised tasks and unsupervised text. This enables the retriever to produce more contextually relevant results that are consistent with LLM preferences. Inspired by this instruction-tuning approach, Asai et al. (2023) proposed a more sophisticated model trained on an instruction-tracking dataset: SELF-RAG. As a result of their refinements, SELF-RAG can retrieve and select the best possible model outputs on demand through fine-grained self-reflection, making it broadly applicable, more robust, and controllable. In contrast to approaches that aim to enhance the quality of retrieved documents through the use of external models, such as natural language inference (Yoran et al., 2023) and summarization(Xu et al., 2023) models, SELF-RAG proposes entirely novel ideas. The model divides the retrieved document into parallel segments and compares their relevance. It then combines the most similar parts of the document. Yan et al. (2024) improves on SELF-RAG by designing a correction strategy to address inaccurate retriever results. They classify the information into three categories: CORRECT, INCORRECT, and AMBIGUOUS. If the information is CORRECT, the document is refined and filtered. If it is INCORRECT, the document is discarded and the web is searched for retrieval. The term AMBIGUOUS indicates a lack of confidence in the accuracy of a judgement. In this case, a combination of the two methods mentioned above will be used. Additionally, Wang et al. (2023c) proposed FILCO, a method for retrieving document content with sentence precision through three filters: STRING, lexical overlap, and conditional cross-mutual information (CXMI).
Lin 외(2023b)는 Instruction Tuning을 위한 접근 방식을 제안합니다. 이들은 지도 학습 과제와 비지도 텍스트의 조합을 통해 계산을 완료하는 일반화된 LM supervised retrieval (LSR)(Shi 외, 2023b) 훈련 대상을 사용하여 쿼리 Encoder를 업데이트합니다. 이를 통해 검색기가 LLM 기본 설정과 일치하는 컨텍스트와 관련성이 높은 결과를 생성할 수 있습니다. 이러한 Instruction Tuning 접근 방식에서 영감을 받아 Asai 외(2023)는 Instruction-tracking 데이터 세트인 SELF-RAG에 대해 더욱 정교한 모델을 제안했습니다. 이러한 개선의 결과로 SELF-RAG은 세분화된 자기 성찰을 통해 필요에 따라 가능한 최상의 모델 결과를 검색하고 선택할 수 있으므로 광범위하게 적용 가능하고, 더욱 견고하며, 제어할 수 있습니다. 자연어 추론(Yoran 외, 2023) 및 요약(Xu 외, 2023) 모델과 같이 외부 모델을 사용하여 검색된 문서의 품질을 향상시키는 접근 방식과는 달리, SELF-RAG은 완전히 새로운 아이디어를 제안합니다. 이 모델은 검색된 문서를 병렬 세그먼트로 나누고 관련성을 비교한 다음 문서의 가장 유사한 부분을 결합합니다. Yan 외(2024)는 부정확한 검색 결과를 해결하기 위한 수정 전략을 설계하여 SELF-RAG을 개선했습니다. 정보를 정확, 부정확, 모호의 세 가지 범주로 분류합니다. 정보가 정확하면 문서를 다듬고 필터링합니다. 잘못된 경우 문서를 삭제하고 웹에서 검색을 검색합니다. 모호라는 용어는 판단의 정확성에 대한 확신이 부족함을 나타냅니다. 이 경우 앞서 언급한 두 가지 방법을 조합하여 사용합니다. 또한 Wang 외(2023c)는 문자열, 어휘 중복, 조건부 교차 상호 정보(CXMI)의 세 가지 필터를 통해 문장 정밀도로 문서 콘텐츠를 검색하는 방법인 FILCO를 제안했습니다.
Lin 외(2023b)는 지침 튜닝을 위한 접근 방식을 제안합니다. 이들은 지도 학습 과제와 비지도 텍스트의 조합을 통해 계산을 완료하는 일반화된 LM 지도 검색(LSR)(Shi 외, 2023b) 훈련 대상을 사용하여 쿼리 인코더를 업데이트합니다. 이를 통해 검색기가 LLM 기본 설정과 일치하는 컨텍스트와 관련성이 높은 결과를 생성할 수 있습니다. 이러한 지침 튜닝 접근 방식에서 영감을 받아 Asai 외(2023)는 지침 추적 데이터 세트인 SELF-RAG에 대해 더욱 정교한 모델을 제안했습니다. 이러한 개선의 결과로 SELF-RAG은 세분화된 자기 성찰을 통해 필요에 따라 가능한 최상의 모델 결과를 검색하고 선택할 수 있으므로 광범위하게 적용 가능하고, 더욱 견고하며, 제어할 수 있습니다. 자연어 추론(Yoran 외, 2023) 및 요약(Xu 외, 2023) 모델과 같이 외부 모델을 사용하여 검색된 문서의 품질을 향상시키는 접근 방식과는 달리, SELF-RAG은 완전히 새로운 아이디어를 제안합니다. 이 모델은 검색된 문서를 병렬 세그먼트로 나누고 관련성을 비교한 다음 문서의 가장 유사한 부분을 결합합니다. Yan 외(2024)는 부정확한 검색 결과를 해결하기 위한 수정 전략을 설계하여 SELF-RAG을 개선했습니다. 정보를 정확, 부정확, 모호의 세 가지 범주로 분류합니다. 정보가 정확하면 문서를 다듬고 필터링합니다. 잘못된 경우 문서를 삭제하고 웹에서 검색을 검색합니다. 모호라는 용어는 판단의 정확성에 대한 확신이 부족함을 나타냅니다. 이 경우 앞서 언급한 두 가지 방법을 조합하여 사용합니다. 또한 Wang 외(2023c)는 문자열, 어휘 중복, 조건부 교차 상호 정보(CXMI)의 세 가지 필터를 통해 문장 정밀도로 문서 콘텐츠를 검색하는 방법인 FILCO를 제안했습니다.