In addition to the general assessment of RALM, there has been some work focusing on the assessment of specific details and domains. RECALL (Liu et al., 2023) employs the EventKG and UJ datasets to incorporate inaccurate information into its existing data set. It then determines whether RALM is susceptible to being misled by such inaccurate information through two tasks: question answering and text generation. Xiong et al. (2024) concentrated on the medical domain and proposed MIRAGE, which integrates data from five datasets, including MMLU-Med, to evaluate the zero-shot learning, multi-choice evaluation, retrieval-augmented generation, and question-only retrieval ideation capabilities of medical RALMs. Ultimately, they also discovered the log-linear scaling property and the "lost-in-the-middle" effect in the medical domain.
RALM에 대한 일반적인 평가 외에도 특정 세부 사항과 영역에 초점을 맞춘 일부 작업이 진행되었습니다. RECALL(Liu et al., 2023)은 EventKG 및 UJ 데이터 세트를 사용하여 기존 데이터 세트에 부정확한 정보를 통합합니다. 그런 다음 두 가지 작업을 통해 RALM이 이러한 부정확한 정보에 의해 오도될 수 있는지 여부를 판단합니다: question answering 및 text generation. Xiong et al. (2024)은 의료 영역에 집중하여 MMLU-Med을 포함한 5개의 데이터 세트의 데이터를 통합하여 의료 RALM의 zero-shot 학습, 객관식 평가, Retrieval-augmented generation 및 질문만 검색하는 아이디어 생성 기능을 평가하는 MIRAGE를 제안했습니다. 궁극적으로 그들은 또한 의료 영역에서 log-linear scaling 속성과 "lost-in-the-middle" 효과를 발견했습니다.
RALM에 대한 일반적인 평가 외에도 특정 세부 사항과 영역에 초점을 맞춘 일부 작업이 진행되었습니다. RECALL(Liu et al., 2023)은 EventKG 및 UJ 데이터 세트를 사용하여 기존 데이터 세트에 부정확한 정보를 통합합니다. 그런 다음 두 가지 작업을 통해 RALM이 이러한 부정확한 정보에 의해 오도될 수 있는지 여부를 판단합니다: 질문 답변 및 텍스트 생성. Xiong et al. (2024)은 의료 영역에 집중하여 MMLU-Med을 포함한 5개의 데이터 세트의 데이터를 통합하여 의료 RALM의 0-shot 학습, 객관식 평가, 검색 증강 생성 및 질문만 검색하는 아이디어 생성 기능을 평가하는 MIRAGE를 제안했습니다. 궁극적으로 그들은 또한 의료 영역에서 로그 선형 스케일링 속성과 "중간에서 손실" 효과를 발견했습니다.