Improving the quality of retrieval can be considered in two parts: improving the quality of the dataset used for retrieval, and improving the performance of the retrieval technique. Nowadays, many data sets are given to LLM to generate relevant content, and since LLM itself has "hallucination", certain means must be adopted to ensure the accuracy of the data, such as using human beings to supervise the refinement (Chen et al., 2024). In addition, due to the wide range of information sources on the Internet, it is obviously not enough to rely solely on search engines for screening, so it is necessary to improve the retrieval technology, such as the use of BM25 (Luo et al., 2023) or TF-IDF (Lazaridou et al., 2022) algorithms for further re-ranking.
검색의 품질을 개선하는 것은 검색에 사용되는 데이터 세트의 품질을 개선하는 것과 검색 기술의 성능을 개선하는 두 가지 부분으로 나눌 수 있습니다. 현재 많은 데이터 세트가 LLM에 제공되어 관련성 있는 콘텐츠를 생성하는데, LLM 자체에 "hallucination"이 있기 때문에 데이터의 정확성을 보장하기 위해 인간을 사용하여 세분화를 감독하는 등의 특정 수단을 채택해야 합니다(Chen et al., 2024). 또한 인터넷의 정보원이 매우 다양하기 때문에 검색 엔진에만 의존하여 선별하는 것은 분명히 충분하지 않으므로 BM25(Luo et al., 2023) 또는 TF-IDF(Lazaridou et al., 2022) 알고리즘을 사용하여 추가 재랭킹하는 등 검색 기술을 개선해야 합니다.
검색의 품질을 개선하는 것은 검색에 사용되는 데이터 세트의 품질을 개선하는 것과 검색 기술의 성능을 개선하는 두 가지 부분으로 나눌 수 있습니다. 현재 많은 데이터 세트가 LLM에 제공되어 관련성 있는 콘텐츠를 생성하는데, LLM 자체에 "환각"이 있기 때문에 데이터의 정확성을 보장하기 위해 인간을 사용하여 세분화를 감독하는 등의 특정 수단을 채택해야 합니다(Chen et al., 2024). 또한 인터넷의 정보원이 매우 다양하기 때문에 검색 엔진에만 의존하여 선별하는 것은 분명히 충분하지 않으므로 BM25(Luo et al., 2023) 또는 TF-IDF(Lazaridou et al., 2022) 알고리즘을 사용하여 추가 재랭킹하는 등 검색 기술을 개선해야 합니다.