To tackle the issue of inaccurate Internet retrieval results, Lazaridou et al. (2022) proposed using the TF-IDF algorithm to score the retrieval results. They used each question q verbatim as a query and issued a call to Google Search via the Google Search API. For each question, they retrieved the top 20 URLs and parsed their HTML content to extract clean text, generating a set of documents D for each question q. To prevent irrelevant information from hindering the resolution of a user's query, Hu et al. (2023) designed a gating circuit. This circuit utilised a dual-encoder dot product to calculate similarity and a gating circuit based on term weights. Additionally, Boytsov et al. (2016) presented an approach that replaced term-based retrieval with k-Nearest Neighbors(kNN) search while combining a translation model and BM25 to improve retrieval performance. This approach enabled the model to take into account the semantic relationships between terms and traditional statistical weighting schemes, resulting in a more efficient retrieval system.
정확하지 않은 인터넷 검색 결과 문제를 해결하기 위해 Lazaridou 등(2022)은 TF-IDF 알고리즘을 사용하여 검색 결과에 점수를 매기는 방법을 제안했습니다. 이들은 각 질문 q를 그대로 쿼리로 사용하고 Google 검색 API를 통해 Google 검색에 호출했습니다. 각 질문에 대해 상위 20개의 URL을 검색하고 HTML 콘텐츠를 구문 분석하여 깨끗한 텍스트를 추출하여 각 질문 q에 대한 문서 집합 D를 생성했습니다. Hu 등(2023)은 관련 없는 정보가 사용자의 쿼리 해결을 방해하는 것을 방지하기 위해 게이팅 회로를 설계했습니다. 이 회로는 dual-encoder dot product를 사용하여 유사성을 계산하고 용어 가중치를 기반으로 게이팅 회로를 활용했습니다. 또한 Boytsov 등(2016)은 검색 성능을 개선하기 위해 번역 모델과 BM25를 결합하면서 용어 기반 검색을 k-Nearest Neighbors(kNN) 검색으로 대체하는 접근 방식을 제시했습니다. 이 접근 방식을 통해 모델은 용어 간의 의미 관계와 기존의 통계적 가중치 체계를 고려할 수 있었고, 그 결과 보다 효율적인 검색 시스템을 구축할 수 있었습니다.
정확하지 않은 인터넷 검색 결과 문제를 해결하기 위해 Lazaridou 등(2022)은 TF-IDF 알고리즘을 사용하여 검색 결과에 점수를 매기는 방법을 제안했습니다. 이들은 각 질문 q를 그대로 쿼리로 사용하고 Google 검색 API를 통해 Google 검색에 호출했습니다. 각 질문에 대해 상위 20개의 URL을 검색하고 HTML 콘텐츠를 구문 분석하여 깨끗한 텍스트를 추출하여 각 질문 q에 대한 문서 집합 D를 생성했습니다. Hu 등(2023)은 관련 없는 정보가 사용자의 쿼리 해결을 방해하는 것을 방지하기 위해 게이팅 회로를 설계했습니다. 이 회로는 이중 인코더 도트 프로덕트를 사용하여 유사성을 계산하고 용어 가중치를 기반으로 게이팅 회로를 활용했습니다. 또한 Boytsov 등(2016)은 검색 성능을 개선하기 위해 번역 모델과 BM25를 결합하면서 용어 기반 검색을 k-Nearest Neighbors(kNN) 검색으로 대체하는 접근 방식을 제시했습니다. 이 접근 방식을 통해 모델은 용어 간의 의미 관계와 기존의 통계적 가중치 체계를 고려할 수 있었고, 그 결과 보다 효율적인 검색 시스템을 구축할 수 있었습니다.