While traditional retrieval methods, such as the BM25 algorithm (Hancock-Beaulieu et al., 1996), focus on term frequency and presence for document ranking, they often overlook the semantic information of queries. Current strategies leverage pre-trained LMs like BERT (Devlin et al., 2019), which capture the semantic essence of queries more effectively. These models improve search accuracy by considering synonyms and the structure of phrases, thereby refining document ranking through the detection of semantic similarities. This is typically achieved by measuring vector distances between documents and queries, combining traditional retrieval metrics with semantic understanding to yield search results that are both relevant and aligned with user intent.
전통적인 검색 방법, 예를 들어 BM25 알고리즘 (Hancock-Beaulieu et al., 1996)은 문서 순위를 매길 때 용어 빈도와 존재 여부에 중점을 두지만, 종종 쿼리의 의미 정보를 간과합니다. 현재의 전략은 BERT (Devlin et al., 2019)와 같은 사전 학습된 LMs를 활용하여 쿼리의 의미적 본질을 더 효과적으로 포착합니다. 이러한 모델들은 동의어와 구문의 구조를 고려하여 검색 정확도를 향상시키며, 의미적 유사성을 감지하여 문서 순위를 세분화합니다. 이는 일반적으로 문서와 쿼리 간의 벡터 거리를 측정함으로써 달성되며, 전통적인 검색 지표와 의미적 이해를 결합하여 사용자 의도에 부합하는 관련성 높은 검색 결과를 제공합니다.
BM25 알고리즘(Hancock-Beaulieu et al., 1996)과 같은 기존 검색 방법은 문서 순위를 매기기 위해 용어 빈도와 존재 여부에 초점을 맞추지만, 쿼리의 의미 정보를 간과하는 경우가 많습니다. 최신 전략은 쿼리의 의미적 본질을 보다 효과적으로 포착하는 BERT(Devlin et al., 2019)와 같은 사전 학습된 LM을 활용합니다. 이러한 모델은 동의어와 구문의 구조를 고려하여 문서 순위를 개선함으로써 의미 유사성을 감지하여 문서 순위를 개선합니다. 이는 일반적으로 문서와 쿼리 간의 벡터 거리를 측정하여 기존 검색 메트릭과 의미론적 이해를 결합하여 관련성이 높고 사용자 의도에 부합하는 검색 결과를 제공함으로써 달성할 수 있습니다.