Next, I want to write the chapter on results of the Information retrieval tests, similar to the ones above. First, I will remind you of the description in Chapter II Methods that shows how the results should look like. Just take in the information and let me know if you have questions. The actual request will follow shortly.

------------------
\subsection{Information retrieval tests}
To ensure the quality of the search results returned by our IR system themselves, we also perform a series of information retrieval tests. These tests measure the accuracy and completeness of the search results, which is naturally a major requirement for all three interviewed users. During the tests, a focus is set on measuring the recall of the system, which is crucial in this scenario, as missing even a single relevant patent can have serious consequences. For example, David has voiced the requirement to identify possible infringement issues using the search engine. For this, it must clearly be able to find \textit{all} relevant or similar patents, given a search term or patent. Also, if support for filing patents, a requirement of John, would be implemented on the platform, making sure the patent is unique would also be a major requirement. The focus on recall is explained in more detail later on.

We use an established dataset of patents for our tests, consisting of a wide range of patent documents with varying levels of complexity and technical detail. We measure the performance of the system using several metrics, including Precision-and-Recall, and nDCG (normalized discounted cumulative gain). Precision measures the proportion of retrieved results that are relevant to the user's query. It is calculated as the ratio of true positives (TP) to the sum of true positives and false positives (FP):
\begin{equation\*}
\text{Precision} = \frac{TP}{TP + FP}
\end{equation\*}
A high precision score indicates that the search engine is returning mostly relevant results, while a low precision score indicates that many of the results are irrelevant. Recall, on the other hand, measures the proportion of relevant results that are retrieved by the search engine. It is calculated as the ratio of true positives (TP) to the sum of true positives and false negatives (FN):
\begin{equation\*}
\text{Recall} = \frac{TP}{TP + FN}
\end{equation\*}
A high recall score indicates that the search engine is returning most or all of the relevant results, while a low recall score suggests that many relevant results are being missed. In the context of patent search it is especially important to optimize for recall, as it is critical to ensure that all relevant patents are returned in the search results. This makes recall a much more important metric in our case than in more general search engines. Still, precision is clearly also important for the ease-of-use of the system and should not be neglected completely.

The normalized Discounted Cumulative Gain (nDCG) is another metric commonly used in information retrieval. It takes into account both the overall relevance and the position of the retrieved item in the search results. It is defined as
$$nDCG\_k = \frac{DCG\_k}{IDCG\_k}$$
where $k$ is the rank position up to which the metric is calculated (e.g. the first page of results), $DCG\_k$ is the Discounted Cumulative Gain at rank $k$, and $IDCG\_k$ is the Ideal Discounted Cumulative Gain at rank $k$. The Discounted Cumulative Gain is calculated as
$$DCG\_k = rel\_1 + \sum\_{i=2}^k \frac{rel\_i}{\log\_2 i},$$
where $rel\_i$ is the relevance score of the $i$-th search result. The Ideal Discounted Cumulative Gain is the $DCG\_k$ of the search results in the ideal order. The nDCG is therefore a value between 0 and 1, where 1 is a perfect result. In our case, nDCG is important because it allows us to not only consider relevance, but also the rank position of retrieved patents. It for example provides a way to weigh more recent or popular patents more heavily, which is a way to fulfill all interviewed users requirement to stay up to date with industry trends.
 
In addition to testing the baseline version of our search engine, we also evaluate the performance of the different helper features and advanced search features tested in the Online Controlled Experiments to investigate their impact on the search results. Overall, the information retrieval tests help us to identify areas for improvement in the IR system and to point out way to fine-tune its performance to optimize the recall. It is important that the system returns all relevant patents, so it can provide the users with a comprehensive and accurate image of the patent situation given various search terms or conditions.
ext를 사용하여 위와 유사한 정보 검색 테스트 결과에 대한 장을 작성하려고 합니다. 먼저, 결과가 어떤 모습이어야 하는지를 보여주는 2장 방법의 설명을 상기시켜드리겠습니다. 정보를 살펴보고 궁금한 점이 있으면 저에게 알려주세요. 실제 요청은 곧 이어질 것입니다.------------------\하위 섹션{정보 검색 테스트}IR 시스템 자체에서 반환되는 검색 결과의 품질을 보장하기 위해 일련의 정보 검색 테스트도 수행합니다. 이러한 테스트는 검색 결과의 정확성과 완전성을 측정하며, 이는 인터뷰에 참여한 세 명의 사용자 모두에게 당연히 중요한 요건입니다. 이 테스트에서는 관련 특허를 하나라도 놓치면 심각한 결과를 초래할 수 있기 때문에 시스템의 회상률을 측정하는 데 중점을 둡니다. 예를 들어, David는 검색 엔진을 사용하여 가능한 침해 문제를 식별해야 한다고 말했습니다. 이를 위해서는 검색어 또는 특허가 주어졌을 때 관련 특허 또는 유사한 특허를 모두 찾아낼 수 있어야 합니다. 또한 John의 요구 사항인 특허 출원 지원이 플랫폼에서 구현될 경우, 특허가 고유한지 확인하는 것도 주요 요구 사항이 될 것입니다. 리콜에 대한 초점은 나중에 더 자세히 설명합니다.저희는 테스트에 다양한 수준의 복잡성과 기술적 세부 사항을 가진 광범위한 특허 문서로 구성된 확립된 특허 데이터 세트를 사용합니다. 정확도 및 리콜, nDCG(정규화된 할인 누적 이득) 등 여러 지표를 사용하여 시스템의 성능을 측정합니다. 정확도는 검색된 결과 중 사용자의 검색어와 관련된 결과의 비율을 측정합니다. 이는 정탐(TP)과 오탐(FP)의 합에 대한 정탐(TP)의 비율로 계산됩니다:\start{방정식\*}\text{정확도} = \frac{TP}{TP + FP}\end{방정식\*}정밀도 점수가 높으면 검색 엔진이 대부분 관련성 있는 결과를 반환하고 있음을 나타내며, 정밀도 점수가 낮으면 관련성이 없는 결과가 많음을 나타냅니다. 반면에 리콜은 검색 엔진이 검색한 결과 중 관련성 있는 결과의 비율을 측정합니다. 이는 정탐(TP)과 오탐(FN)의 합에 대한 정탐(TP)의 비율로 계산됩니다:\start{방정식\*}\text{Recall} = \frac{TP}{TP + FN}\end{방정식\*}리콜 점수가 높으면 검색 엔진이 관련 결과의 대부분 또는 전부를 반환하고 있음을 나타내며, 리콜 점수가 낮으면 관련 결과가 많이 누락되고 있음을 의미합니다. 특허 검색의 경우, 검색 결과에서 모든 관련 특허가 반환되도록 하는 것이 중요하기 때문에 리콜을 최적화하는 것이 특히 중요합니다. 따라서 일반적인 검색 엔진보다 검색 회수율이 훨씬 더 중요한 지표가 됩니다. 하지만 정확도는 시스템의 사용 편의성을 위해서도 분명 중요하며 완전히 무시해서는 안 됩니다.정규화된 할인 누적 이득(nDCG)은 정보 검색에 일반적으로 사용되는 또 다른 지표입니다. 이 지표는 검색 결과에서 검색된 항목의 전반적인 관련성과 위치를 모두 고려합니다. 다음과 같이 정의됩니다.$$nDCG\_k = \frac{DCG\_k}{IDCG\_k}$$여기서 $k$는 지표가 계산된 순위 위치(예: 결과의 첫 페이지)이고, $DCG\_k$는 순위 $k$에서의 할인된 누적 이득이며, $IDCG\_k$는 순위 $k$에서의 이상적인 할인된 누적 이득입니다. 할인된 누적 이득은 다음과 같이 계산됩니다.$$DCG\_k = rel\_1 + \sum\_{i=2}^k \frac{rel\_i}{\log\_2 i},$$.여기서 $rel\_i$ 는 $i$ 번째 검색 결과의 연관성 점수입니다. 이상 할인 누적 이득은 이상적인 순서에 따른 검색 결과의 $DCG\_k$입니다. 따라서 nDCG는 0과 1 사이의 값이며, 1은 완벽한 결과입니다. 이 경우 nDCG가 중요한 이유는 관련성뿐만 아니라 검색된 특허의 순위도 고려할 수 있기 때문입니다. 예를 들어, 최신 특허나 인기 특허에 더 큰 가중치를 부여하는 방법을 제공하는데, 이는 업계 동향에 대한 최신 정보를 얻고자 하는 모든 인터뷰 사용자의 요구 사항을 충족하는 방법입니다. 검색 엔진의 기본 버전을 테스트하는 것 외에도 온라인 통제 실험에서 테스트한 다양한 도우미 기능과 고급 검색 기능의 성능을 평가하여 검색 결과에 미치는 영향을 조사했습니다. 전반적으로 정보 검색 테스트는 IR 시스템에서 개선이 필요한 부분을 파악하고 리콜을 최적화하기 위해 성능을 미세 조정할 수 있는 방법을 제시하는 데 도움이 됩니다. 시스템이 모든 관련 특허를 반환하는 것이 중요하므로 다양한 검색어 또는 조건이 주어졌을 때 사용자에게 특허 상황에 대한 포괄적이고 정확한 이미지를 제공할 수 있어야 합니다.