Re-ranking is also a significant focus of InContext RALM (Ram et al., 2023). Two approaches to reranking are explored: zero-shot reranking using language models and predictive reranking through trained models. This step is aimed at refining the selection of documents based on their expected utility for improving language model performance. ITER-RETGEN (Shao et al., 2023), in particular, leverages knowledge distillation from the re-ranker to the dense retriever, fine-tuning retrieval efforts based on relevance signals from LLM outputs. This optimization of the re trieval model aims to more accurately capture query nuances, thereby improving document selection.
순위 재조정은 In-Context RALM(Ram 등, 2023)의 주요 초점이기도 합니다. Re-ranking에는 언어 모델을 사용한 zero-shot re-ranking과 학습된 모델을 통한 predictive re-ranking의 두 가지 접근 방식이 탐색됩니다. 이 단계는 언어 모델 성능 향상을 위한 예상 효용을 기반으로 문서 선택을 구체화하는 데 목적이 있습니다. 특히 ITER-RETGEN(Shao et al., 2023)은 re-ranker의 지식 증류를 dense retriever로 활용하여 LLM 출력의 관련성 신호를 기반으로 retrieval 노력을 Fine-tuning합니다. 이러한 retrieval 모델의 최적화는 쿼리의 뉘앙스를 보다 정확하게 포착하여 문서 선택을 개선하는 것을 목표로 합니다.
순위 재조정은 InContext RALM(Ram 등, 2023)의 주요 초점이기도 합니다. 리랭킹에는 언어 모델을 사용한 제로샷 리랭킹과 학습된 모델을 통한 예측 리랭킹의 두 가지 접근 방식이 탐색됩니다. 이 단계는 언어 모델 성능 향상을 위한 예상 효용을 기반으로 문서 선택을 구체화하는 데 목적이 있습니다. 특히 ITER-RETGEN(Shao et al., 2023)은 재랭커의 지식 증류를 밀도 리트리버로 활용하여 LLM 출력의 관련성 신호를 기반으로 리트리벌 노력을 미세 조정합니다. 이러한 리트리벌 모델의 최적화는 쿼리의 뉘앙스를 보다 정확하게 포착하여 문서 선택을 개선하는 것을 목표로 합니다.