쿼리에 대한 데이터베이스의 문서의 연관성 점수를 예측하기 위한 문서 연관 함수를 결정하기 위한 방법 및 컴퓨터 프로그램 제품이 제공된다. 복수의 테스트 쿼리 각각에 대하여, 각각의 최종 문서의 세트가 수집 된다. 각 테스트 쿼리에 대하여, 각각의 최종 세트의 문서의 서브세트가 선택되며, 트레이닝 연관 점수의 세트가 서브세트의 문서에 할당된다. 일 실시 예에서, 트레이닝 연관 점수의 적어도 일부가 대응하는 쿼리에 대하여 제출된 문서에 대한 개개의 연관 점수를 결정하는 대상 인물에 의해 할당된다. 최종적으로, 연관 함수는 복수의 테스트 쿼리, 문서의 서브세트 및 트레이닝 연관 점수의 세트 상에서 결정된다.
Provided is a method and computer program product for determining a document relevance function for estimating a relevance score of a document in a database with respect to a query. For each of a plurality of test queries, a respective set of result documents is collected. For each test query, a subset of the documents in the respective result set is selected, and a set of training relevance scores is assigned to documents in the subset. In one embodiment, at least some of the training relevance scores are assigned by human subjects who determine individual relevance scores for submitted documents with respect to the corresponding queries. Finally, a relevance function is determined based on the plurality of test queries, the subsets of documents, and the sets of training relevance scores.