Domain Specific Open-Book ExamIn this paper, we focused on a narrower but increasingly popular domain than the general open book exam, called the domain specific open book exam. In domain specific open book exams, we know apriori the domain in which the LLM will be tested - used for inference. The LLM can respond to the prompt using use any and all information from this specific domain, which it has been fine-tuned on. Examples of domain specific examples include enterprise documents, latest news, code repositories belonging to an organization, etc. In all these scenarios, the LLM will be used to respond to the questions, whose answers can be found within a collection of documents (a small practical domain). The retrieval technique itself has little to no impact on the mechanism (though it may impact the accuracy). This paper mainly studies this, domain specific open-book setting and how to adapt a pre-trained LLM to this specific domain, including how to make it more robust to a varying number of retrieved documents and distractors.
도메인별 오픈북 시험이 백서에서는 일반 오픈북 시험보다 범위가 좁지만 점점 인기를 얻고 있는 도메인별 오픈북 시험에 초점을 맞추었습니다. 도메인별 오픈북 시험에서는 추론에 사용되는 LLM이 테스트될 도메인을 사전에 알고 있습니다. LLM은 이 특정 도메인의 모든 정보를 사용하여 프롬프트에 응답할 수 있으며, 이 도메인에 대해 Fine-tuning을 거쳤습니다. 도메인별 예제의 예로는 기업 문서, 최신 뉴스, 조직에 속한 코드 리포지토리 등이 있습니다. 이러한 모든 시나리오에서 LLM은 문서 모음(작은 실용적 도메인) 내에서 답을 찾을 수 있는 질문에 응답하는 데 사용됩니다. Retrieval 기술 자체는 메커니즘에 거의 또는 전혀 영향을 미치지 않습니다(정확도에는 영향을 미칠 수 있음). 이 백서에서는 주로 이러한 도메인별 오픈북 설정과 검색된 문서 및 산만 요소의 다양한 수에 대해 더욱 견고하게 만들기 위한 방법을 포함하여 사전 학습된 LLM을 이 특정 도메인에 적용하는 방법을 연구합니다.
도메인별 오픈북 시험이 백서에서는 일반 오픈북 시험보다 범위가 좁지만 점점 인기를 얻고 있는 도메인별 오픈북 시험에 초점을 맞추었습니다. 도메인별 오픈북 시험에서는 추론에 사용되는 LLM이 테스트될 도메인을 사전에 알고 있습니다. LLM은 이 특정 도메인의 모든 정보를 사용하여 프롬프트에 응답할 수 있으며, 이 도메인에 대해 미세 조정을 거쳤습니다. 도메인별 예제의 예로는 기업 문서, 최신 뉴스, 조직에 속한 코드 리포지토리 등이 있습니다. 이러한 모든 시나리오에서 LLM은 문서 모음(작은 실용적 도메인) 내에서 답을 찾을 수 있는 질문에 응답하는 데 사용됩니다. 검색 기술 자체는 메커니즘에 거의 또는 전혀 영향을 미치지 않습니다(정확도에는 영향을 미칠 수 있음). 이 백서에서는 주로 이러한 도메인별 오픈북 설정과 검색된 문서 및 산만 요소의 다양한 수에 대해 더욱 견고하게 만들기 위한 방법을 포함하여 사전 학습된 LLM을 이 특정 도메인에 적용하는 방법을 연구합니다.