The TF-IDF algorithm utilises term frequency (TF) and inverse document frequency (IDF) to represent relevance, which has the advantages of simplicity and speed, and even if the corpus is unchanged, the TF-IDF value for each word can be computed in advance. In RALM, Lazaridou et al. (2022) utilise the TF-IDF algorithm to match information obtained from user queries and calls to the Google search API. Hua and Wang (2018) also employ the algorithm to score the generated results. The BM25 represents an enhancement over the TF-IDF. It considers the user's query and calculates the relevance score as the weighted sum of the relevance of each query word to the document. The IDF algorithm is used to derive the weight of each word, but it is improved by two moderating factors to prevent the strength of the influence of a certain factor from being infinite.
TF-IDF 알고리즘은 term frequency (TF)와 inverse document frequency (IDF)를 활용하여 관련성을 나타내며, 단순성과 속도의 장점이 있으며, 코퍼스가 변경되지 않더라도 각 단어에 대한 TF-IDF 값을 미리 계산할 수 있습니다. RALM에서 Lazaridou 등(2022)은 TF-IDF 알고리즘을 사용하여 사용자 쿼리에서 얻은 정보와 Google 검색 API 호출을 매칭합니다. Hua와 Wang(2018)도 이 알고리즘을 사용하여 생성된 결과의 점수를 매깁니다. BM25는 TF-IDF에 비해 개선된 기능을 제공합니다. 사용자의 쿼리를 고려하고 문서에 대한 각 쿼리 단어의 관련성을 가중치로 합산하여 관련성 점수를 계산합니다. IDF 알고리즘은 각 단어의 가중치를 도출하는 데 사용되지만, 특정 요인의 영향력이 무한대가 되는 것을 방지하기 위해 두 가지 조절 요인으로 개선되었습니다.
TF-IDF 알고리즘은 용어 빈도(TF)와 역 문서 빈도(IDF)를 활용하여 관련성을 나타내며, 단순성과 속도의 장점이 있으며, 코퍼스가 변경되지 않더라도 각 단어에 대한 TF-IDF 값을 미리 계산할 수 있습니다. RALM에서 Lazaridou 등(2022)은 TF-IDF 알고리즘을 사용하여 사용자 쿼리에서 얻은 정보와 Google 검색 API 호출을 매칭합니다. Hua와 Wang(2018)도 이 알고리즘을 사용하여 생성된 결과의 점수를 매깁니다. BM25는 TF-IDF에 비해 개선된 기능을 제공합니다. 사용자의 쿼리를 고려하고 문서에 대한 각 쿼리 단어의 관련성을 가중치로 합산하여 관련성 점수를 계산합니다. IDF 알고리즘은 각 단어의 가중치를 도출하는 데 사용되지만, 특정 요인의 영향력이 무한대가 되는 것을 방지하기 위해 두 가지 조절 요인으로 개선되었습니다.