Question answering also includes generative and extractive forms. It is a common task in NLP that relies on domain-specific knowledge. RALMs can achieve better results than traditional language models by utilizing externally stored knowledge. Common question answering tasks include domain-specific QA, open-domain QA(ODQA), and multi-hop QA. In the medical field, large language models are commonly used, PKG(Luo et al., 2023) uses the relevant data from the MedMC-QA dataset,using the questions in the training set as input and the medical explanations as background knowledge, and the accuracy of the background knowledge generated by the model as an evaluation metric. HyKGE(Jiang et al., 2023) also targets question answering in the medical field, but uses a knowledge graph-enhanced approach. When targeting ODQA tasks, RAG (Lewis et al., 2020) considers questions and answers as input-output text pairs and trains by minimizing the negative log-likelihood of the answers. In contrast, ICRALM (Ram et al., 2023) exclusively performs the ODQA task using frozen LMs, which have not been enhanced by pre-training, fine-tuning, or retrieval, as well as the associated knowledge documents. Other models (Wang et al., 2023)(Lin et al., 2023)(Shi et al., 2023) were also trained for the ODQA task. In relation to the multi-hop QA task, FILCO (Wang et al., 2023) used their proposed filtered retrieval method to filter multiple documents. They validated their approach using the HotpotQA dataset. RR (He et al., 2022), on the other hand, used the Chain-of-Thought (CoT) approach to address the multi-hop problem. In addition, many other models (Jiang et al., 2023)(Khattab et al., 2022) deal with multi-hop problems.
질문 답변에는 생성형 및 추출형 형태도 포함됩니다. 이는 도메인별 지식에 의존하는 NLP의 일반적인 작업입니다. 외부에 저장된 지식을 활용함으로써 RALM은 기존 언어 모델보다 더 나은 결과를 얻을 수 있습니다. 일반적인 질문 답변 작업에는 도메인별 QA, open-domain QA(ODQA), multi-hop QA 등이 있습니다. 의료 분야에서는 Large Language Models(LLMs)가 일반적으로 사용되며, PKG(Luo et al., 2023)는 MedMC-QA 데이터 세트의 관련 데이터를 사용하여 훈련 세트의 질문을 입력으로, 의학적 설명을 배경 지식으로 사용하며, 모델에서 생성된 배경 지식의 정확도를 평가 지표로 사용합니다. HyKGE(Jiang et al., 2023)도 의료 분야의 질문 답변을 목표로 하지만 지식 그래프 강화 접근 방식을 사용합니다. ODQA 작업을 목표로 하는 경우, RAG(Lewis et al., 2020)는 질문과 답변을 입력-출력 텍스트 쌍으로 간주하고 답변의 음의 로그 가능성을 최소화하여 훈련합니다. 반면, ICRALM(Ram et al., 2023)은 사전 학습, Fine-tuning 또는 retrieval로 강화되지 않은 동결된 LMs과 관련 지식 문서를 사용하여 ODQA 작업만 수행합니다. 다른 모델(Wang et al., 2023)(Lin et al., 2023)(Shi et al., 2023)도 ODQA 작업을 위해 훈련되었습니다. multi-hop QA 작업과 관련하여 FILCO(Wang et al., 2023)는 여러 문서를 필터링하기 위해 제안한 필터링 retrieval 방법을 사용했습니다. 이들은 HotpotQA 데이터 세트를 사용하여 접근 방식을 검증했습니다. 반면에 RR(He et al., 2022)은 multi-hop 문제를 해결하기 위해 Chain-of-Thought(CoT) 접근 방식을 사용했습니다. 또한 다른 많은 모델(Jiang et al., 2023)(Khattab et al., 2022)이 multi-hop 문제를 다루고 있습니다.
질문 답변에는 생성형 및 추출형 형태도 포함됩니다. 이는 도메인별 지식에 의존하는 NLP의 일반적인 작업입니다. 외부에 저장된 지식을 활용함으로써 RALM은 기존 언어 모델보다 더 나은 결과를 얻을 수 있습니다. 일반적인 질문 답변 작업에는 도메인별 QA, 오픈 도메인 QA(ODQA), 멀티홉 QA 등이 있습니다. 의료 분야에서는 대규모 언어 모델이 일반적으로 사용되며, PKG(Luo et al., 2023)는 MedMC-QA 데이터 세트의 관련 데이터를 사용하여 훈련 세트의 질문을 입력으로, 의학적 설명을 배경 지식으로 사용하며, 모델에서 생성된 배경 지식의 정확도를 평가 지표로 사용합니다. HyKGE(Jiang et al., 2023)도 의료 분야의 질문 답변을 목표로 하지만 지식 그래프 강화 접근 방식을 사용합니다. ODQA 작업을 목표로 하는 경우, RAG(Lewis et al., 2020)는 질문과 답변을 입력-출력 텍스트 쌍으로 간주하고 답변의 음의 로그 가능성을 최소화하여 훈련합니다. 반면, ICRALM(Ram et al., 2023)은 사전 학습, 미세 조정 또는 검색으로 강화되지 않은 동결된 LM과 관련 지식 문서를 사용하여 ODQA 작업만 수행합니다. 다른 모델(Wang et al., 2023)(Lin et al., 2023)(Shi et al., 2023)도 ODQA 작업을 위해 훈련되었습니다. 멀티홉 QA 작업과 관련하여 FILCO(Wang et al., 2023)는 여러 문서를 필터링하기 위해 제안한 필터링 검색 방법을 사용했습니다. 이들은 HotpotQA 데이터 세트를 사용하여 접근 방식을 검증했습니다. 반면에 RR(He et al., 2022)은 멀티홉 문제를 해결하기 위해 Chain-of-Thought(CoT) 접근 방식을 사용했습니다. 또한 다른 많은 모델(Jiang et al., 2023)(Khattab et al., 2022)이 멀티홉 문제를 다루고 있습니다.