FLARE (Jiang et al., 2023) uses StrategyQA, which contains a significant number of yes/no questions from a diverse range of sources. In addition, the authors request that the model provide the exact reasoning process and the final answer that determines the yes/no answer, ensuring that the answer matches the gold answer exactly. The incorporation of in-context samples into the retrieved content, along with training using data from the COPA, HellaSwag, and PIQA datasets, has resulted in the development of LLM-R (Wang et al., 2023) model that exhibits excellent performance. The fundamental concept of the ITER-RETGEN (Gao et al., 2022) model employs an iterative methodology to integrate retrievers and language models. The model was trained for the Commonsense Reasoning task using the StrategyQA dataset and achieved its optimal performance at seven iterations. In contrast, KG-BART (Shao et al., 2023) is designed to prioritize the Commonsense Reasoning task and employs knowledge graphs to enhance its performance in this area. This approach has proven effective in significantly improving the model's ability to complete the Commonsense Reasoning task, with performance approaching that of human beings under certain evaluation metrics.
FLARE(Jiang et al., 2023)는 다양한 출처에서 상당수의 예/아니요 질문이 포함된 StrategyQA를 사용합니다. 또한 저자는 모델이 예/아니요 답변을 결정하는 정확한 추론 과정과 최종 답변을 제공하도록 요청하여 답변이 골드 답변과 정확히 일치하도록 합니다. 이러한 In-Context 샘플을 검색된 콘텐츠에 통합하고 COPA, HellaSwag 및 PIQA 데이터 세트의 데이터를 사용하여 훈련함으로써 뛰어난 성능을 보여주는 LLM-R(Wang et al., 2023) 모델을 개발했습니다. ITER-RETGEN(Gao et al., 2022) 모델의 기본 개념은 반복적인 방법론을 사용하여 Retrieval과 Language Models를 통합하는 것입니다. 이 모델은 StrategyQA 데이터 세트를 사용하여 Commonsense Reasoning 작업을 위해 훈련되었으며 7번의 반복에서 최적의 성능을 달성했습니다. 이와는 대조적으로 KG-BART(Shao et al., 2023)는 Commonsense Reasoning 작업의 우선 순위를 정하고 Knowledge Graphs를 사용하여 이 분야의 성능을 향상시키도록 설계되었습니다. 이러한 접근 방식은 특정 평가 지표에서 인간 수준에 근접한 성능을 발휘하는 모델의 Commonsense Reasoning 작업 완료 능력을 크게 향상시키는 데 효과적인 것으로 입증되었습니다.
FLARE(Jiang et al., 2023)는 다양한 출처에서 상당수의 예/아니요 질문이 포함된 StrategyQA를 사용합니다. 또한 저자는 모델이 예/아니요 답변을 결정하는 정확한 추론 과정과 최종 답변을 제공하도록 요청하여 답변이 골드 답변과 정확히 일치하도록 합니다. 이러한 상황 샘플을 검색된 콘텐츠에 통합하고 COPA, HellaSwag 및 PIQA 데이터 세트의 데이터를 사용하여 훈련함으로써 뛰어난 성능을 보여주는 LLM-R(Wang et al., 2023) 모델을 개발했습니다. ITER-RETGEN(Gao et al., 2022) 모델의 기본 개념은 반복적인 방법론을 사용하여 검색기와 언어 모델을 통합하는 것입니다. 이 모델은 StrategyQA 데이터 세트를 사용하여 상식 추론 작업을 위해 훈련되었으며 7번의 반복에서 최적의 성능을 달성했습니다. 이와는 대조적으로 KG-BART(Shao et al., 2023)는 상식 추론 작업의 우선 순위를 정하고 지식 그래프를 사용하여 이 분야의 성능을 향상시키도록 설계되었습니다. 이러한 접근 방식은 특정 평가 지표에서 인간 수준에 근접한 성능을 발휘하는 모델의 상식 추론 작업 완료 능력을 크게 향상시키는 데 효과적인 것으로 입증되었습니다.