Shi et al. (2023) utilises knowledge distillation to divide the retrieval process into four distinct steps. Firstly, documents are retrieved and retrieval likelihoods are computed. Secondly, the retrieved documents are scored using a language model. Thirdly, the parameters of the retrieval model are updated by minimising the KL discrepancy between the retrieval likelihoods and the distribution of the language model scores. Finally, asynchronously updating of the indexes of the data is performed. Based on this technique, Lin et al. (2023) further improve the accuracy of knowledge distillation. They present a data distillation scheme that combines sentence truncation and query enhancement with incremental relevance label enhancement using multiple enhancers.
Shi 외(2023)는 knowledge distillation을 활용하여 retrieval 프로세스를 네 단계로 나눕니다. 첫째, 문서를 검색하고 retrieval likelihoods를 계산합니다. 둘째, 검색된 문서에 language model을 사용하여 점수를 부여합니다. 셋째, retrieval likelihoods와 language model 점수의 분포 간의 KL 불일치를 최소화하여 retrieval 모델의 매개변수를 업데이트합니다. 마지막으로 데이터의 인덱스를 비동기적으로 업데이트합니다. 이 기법을 기반으로 Lin 외(2023)는 knowledge distillation의 정확도를 더욱 향상시킵니다. 이들은 문장 잘라내기와 쿼리 향상을 여러 개의 enhancer를 사용한 점진적 관련성 라벨 향상과 결합한 데이터 증류 방식을 제시합니다.
Shi 외(2023)는 지식 증류를 활용하여 검색 프로세스를 네 단계로 나눕니다. 첫째, 문서를 검색하고 검색 가능성을 계산합니다. 둘째, 검색된 문서에 언어 모델을 사용하여 점수를 부여합니다. 셋째, 검색 가능성과 언어 모델 점수의 분포 간의 KL 불일치를 최소화하여 검색 모델의 매개변수를 업데이트합니다. 마지막으로 데이터의 인덱스를 비동기적으로 업데이트합니다. 이 기법을 기반으로 Lin 외(2023)는 지식 증류의 정확도를 더욱 향상시킵니다. 이들은 문장 잘라내기와 쿼리 향상을 여러 개의 강화기(enhancer)를 사용한 점진적 관련성 라벨 향상과 결합한 데이터 증류 방식을 제시합니다.