Most recently, ChatGPT (OpenAI, 2022) and its follow ups (OpenAI, 2023; Anthropic, 2023; Google, 2023) have led to the paradigm shift of building question answering (QA) models in production and research community. In particular, the following aspects of the QA models are preferred in real-world applications: _i)_ The users can interact with the QA models in a conversational way, thus one can easily raise follow-up questions. _ii)_ The generalist models can generate answers in zero-shot manner without dataset-specific fine-tuning, while matching the accuracies of fine-tuned expert models. _iii)_ The QA models are capable of integrating retrieved chunks of evidence in both open-domain or long document settings, where the provided context is much longer than the context window of LLM (e.g., Anthropic, 2023; Xu et al., 2023b). To this end, we focus on the conversational QA covering these three aspects.
가장 최근에 ChatGPT(OpenAI, 2022)와 그 후속 모델(OpenAI, 2023; Anthropic, 2023; Google, 2023)은 프로덕션 및 연구 커뮤니티에서 question answering (QA) 모델을 구축하는 패러다임의 변화를 주도하고 있습니다. 특히, 실제 애플리케이션에서 QA 모델의 다음과 같은 측면이 선호됩니다: _i)_ 사용자는 대화 방식으로 QA 모델과 상호 작용할 수 있으므로 후속 질문을 쉽게 제기할 수 있습니다. _ii)_ 범용 모델은 데이터 세트별 Fine-tuning 없이도 zero-shot 방식으로 답변을 생성할 수 있으며, Fine-tuning된 전문가 모델의 정확도와 일치합니다. _iii)_ QA 모델은 제공된 컨텍스트가 LLM의 컨텍스트 창보다 훨씬 긴 오픈 도메인 또는 긴 문서 설정에서 검색된 증거 청크를 통합할 수 있습니다(예: Anthropic, 2023; Xu et al., 2023b). 이를 위해 우리는 이 세 가지 측면을 포괄하는 대화형 QA에 초점을 맞추고 있습니다.
가장 최근에 ChatGPT(OpenAI, 2022)와 그 후속 모델(OpenAI, 2023; Anthropic, 2023; Google, 2023)은 프로덕션 및 연구 커뮤니티에서 질의응답(QA) 모델을 구축하는 패러다임의 변화를 주도하고 있습니다. 특히, 실제 애플리케이션에서 QA 모델의 다음과 같은 측면이 선호됩니다: _i)_ 사용자는 대화 방식으로 QA 모델과 상호 작용할 수 있으므로 후속 질문을 쉽게 제기할 수 있습니다. _ii)_ 범용 모델은 데이터 세트별 미세 조정 없이도 0샷 방식으로 답변을 생성할 수 있으며, 미세 조정된 전문가 모델의 정확도와 일치합니다. _iii)_ QA 모델은 제공된 컨텍스트가 LLM의 컨텍스트 창보다 훨씬 긴 오픈 도메인 또는 긴 문서 설정에서 검색된 증거 청크를 통합할 수 있습니다(예: Anthropic, 2023; Xu et al., 2023b). 이를 위해 우리는 이 세 가지 측면을 포괄하는 대화형 QA에 초점을 맞추고 있습니다.