Even if augmenting LLMs with retrieval is an essential step for the current generation of LLMs [15, 27] it also comes with a cost. Traditional retrieval methods as TF-IDF or BM-25 [29] are only able to retrieve documents with keyword overlap and suffer from lexical gap [4]. In order to try to solve this issue, many pre-trained Transformer encoder based dense models have been proposed [9, 28, 17, 11]. Trained neural models have shown good performance over a variety of retrieval benchmarks but they still struggle in the zero-shot setup for new domains [33]. The quality of the retrieval engine is essential for retrieval-augmented models as this will set the upper bound of the model performance. Moreover, the usage of a retrieval engine, especially when the target document index is huge, can significantly increase the latency of the model and hurt real time applications user experience [3].
검색 기능을 추가하는 것이 현재 LLM 세대를 위한 필수 단계임에도 불구하고[15, 27] 비용이 따르기도 합니다. 기존 검색 방식인 TF-IDF 또는 BM-25 [29]는 키워드가 겹치는 문서만 검색할 수 있으며 어휘 격차 [4]로 인해 문제가 발생합니다. 이 문제를 해결하기 위해 사전 학습된 Transformer Encoder 기반의 고밀도 모델이 많이 제안되었습니다[9, 28, 17, 11]. 학습된 신경망 모델은 다양한 retrieval benchmarks에서 우수한 성능을 보여주었지만 새로운 도메인에 대한 zero-shot 설정에서는 여전히 어려움을 겪고 있습니다[33]. 검색 엔진의 품질은 retrieval-augmented 모델에 필수적이며, 이는 모델 성능의 상한선을 설정합니다. 또한 검색 엔진, 특히 대상 문서 인덱스가 방대한 경우 모델의 지연 시간이 크게 늘어나고 실시간 애플리케이션 사용자 경험이 저하될 수 있습니다[3].
검색 기능을 추가하는 것이 현재 LLM 세대를 위한 필수 단계임에도 불구하고[15, 27] 비용이 따르기도 합니다. 기존 검색 방식인 TF-IDF 또는 BM-25 [29]는 키워드가 겹치는 문서만 검색할 수 있으며 어휘 격차 [4]로 인해 문제가 발생합니다. 이 문제를 해결하기 위해 사전 학습된 트랜스포머 인코더 기반의 고밀도 모델이 많이 제안되었습니다[9, 28, 17, 11]. 학습된 신경망 모델은 다양한 검색 벤치마크에서 우수한 성능을 보여주었지만 새로운 도메인에 대한 제로 샷 설정에서는 여전히 어려움을 겪고 있습니다[33]. 검색 엔진의 품질은 모델 성능의 상한선을 설정하기 때문에 검색 증강 모델에 필수적입니다. 또한 검색 엔진, 특히 대상 문서 인덱스가 방대한 경우 모델의 지연 시간이 크게 늘어나고 실시간 애플리케이션 사용자 경험이 저하될 수 있습니다[3].