Open Book ExamIn contrast, we liken the open-book exam setting to the scenario in which the LLM can refer to external sources of information (e.g., a website or a book chapter). In such scenarios, typically, the LLM is paired with a retriever which retrieves 'k' documents (or specific segments of the document) which are appended to the prompt. It is only through these documents retrieved that the LLM gains access to "new knowledge". As a result, we argue that the LLM's performance in these settings, where it is trained as a general-purpose LLM is largely dependent on the quality of the retriever and how accurately the retriever can identify the most relevant piece of information.
오픈 북 시험이와는 대조적으로 오픈북 시험 환경은 LLM이 외부 정보 소스(예: 웹사이트 또는 책 챕터)를 참조할 수 있는 시나리오에 비유할 수 있습니다. 이러한 시나리오에서는 일반적으로 LLM에 retriever가 짝을 이루어 프롬프트에 추가되는 'k'개의 문서(또는 문서의 특정 세그먼트)를 검색합니다. 이렇게 검색된 문서를 통해서만 LLM이 "새로운 지식"에 액세스할 수 있습니다. 따라서 general-purpose LLM으로 훈련된 이러한 환경에서 LLM의 성능은 retriever의 품질과 retriever가 가장 관련성이 높은 정보를 얼마나 정확하게 식별할 수 있는지에 따라 크게 좌우된다고 주장합니다.
오픈 북 시험이와는 대조적으로 오픈북 시험 환경은 LLM이 외부 정보 소스(예: 웹사이트 또는 책 챕터)를 참조할 수 있는 시나리오에 비유할 수 있습니다. 이러한 시나리오에서는 일반적으로 LLM에 리트리버가 짝을 이루어 프롬프트에 추가되는 'k'개의 문서(또는 문서의 특정 세그먼트)를 검색합니다. 이렇게 검색된 문서를 통해서만 LLM이 "새로운 지식"에 액세스할 수 있습니다. 따라서 일반 퍼포즈 LLM으로 훈련된 이러한 환경에서 LLM의 성능은 리트리버의 품질과 리트리버가 가장 관련성이 높은 정보를 얼마나 정확하게 식별할 수 있는지에 따라 크게 좌우된다고 주장합니다.