RA-DIT (Lin et al., 2023) employs the CNN/DailyMail dataset to refine the language model component of the model, which demonstrates remarkable efficacy in the text summarization task due to the operation of command fine-tuning. In contrast, Self-Mem(Cheng et al., 2024) was trained using the XSum and BigPatent datasets. The authors observed that memory enhancement had a significantly larger effect on BigPatent than XSum. They hypothesize that this discrepancy is due to the inclusion of official patent documents in the BigPatent dataset, which exhibit considerable similarity. The LLM-R (Wang et al., 2023) model employs an in-context learning approach, integrating RALM, and utilizes the AESLC, AG News, and Gigaword datasets for text summarization training. The results demonstrate that LLM-R significantly outperforms both traditional and dense retrievers in the summarization task. RAMKG (Gao et al., 2022) extended the iterative training of the RALM architecture to the multilingual domain and employed two multilingual datasets, EcommerceMKP and AcademicMKP, for the training of summarization work, achieving the best results at that time.
RA-DIT(Lin et al., 2023)은 CNN/DailyMail 데이터 세트를 사용하여 모델의 언어 모델 구성 요소를 구체화하는데, 이 모델은 명령 Fine-tuning의 작동으로 인해 텍스트 요약 작업에서 놀라운 효능을 보여줍니다. 반면, Self-Mem(Cheng et al., 2024)은 XSum과 BigPatent 데이터 세트를 사용하여 학습되었습니다. 저자들은 메모리 향상이 XSum보다 BigPatent에 훨씬 더 큰 영향을 미친다는 것을 관찰했습니다. 이러한 차이는 상당한 유사성을 보이는 공식 특허 문서가 BigPatent 데이터 세트에 포함되어 있기 때문이라고 가설을 세웁니다. LLM-R(Wang et al., 2023) 모델은 In-Context Learning 접근 방식을 사용하여 RALM을 통합하고 텍스트 요약 학습을 위해 AESLC, AG 뉴스 및 기가워드 데이터 세트를 사용합니다. 그 결과, LLM-R은 요약 작업에서 기존 및 밀도 검색기 모두보다 훨씬 뛰어난 성능을 발휘하는 것으로 나타났습니다. RAMKG(Gao et al., 2022)는 RALM 아키텍처의 반복 학습을 다국어 도메인으로 확장하고 요약 작업의 학습을 위해 두 개의 다국어 데이터 세트인 EcommerceMKP와 AcademicMKP를 사용하여 당시 최고의 결과를 달성했습니다.
RA-DIT(Lin et al., 2023)은 CNN/DailyMail 데이터 세트를 사용하여 모델의 언어 모델 구성 요소를 구체화하는데, 이 모델은 명령 미세 조정의 작동으로 인해 텍스트 요약 작업에서 놀라운 효능을 보여줍니다. 반면, Self-Mem(Cheng et al., 2024)은 XSum과 BigPatent 데이터 세트를 사용하여 학습되었습니다. 저자들은 메모리 향상이 XSum보다 BigPatent에 훨씬 더 큰 영향을 미친다는 것을 관찰했습니다. 이러한 차이는 상당한 유사성을 보이는 공식 특허 문서가 BigPatent 데이터 세트에 포함되어 있기 때문이라고 가설을 세웁니다. LLM-R(Wang et al., 2023) 모델은 컨텍스트 내 학습 접근 방식을 사용하여 RALM을 통합하고 텍스트 요약 학습을 위해 AESLC, AG 뉴스 및 기가워드 데이터 세트를 사용합니다. 그 결과, LLM-R은 요약 작업에서 기존 및 밀도 검색기 모두보다 훨씬 뛰어난 성능을 발휘하는 것으로 나타났습니다. RAMKG(Gao et al., 2022)는 RALM 아키텍처의 반복 학습을 다국어 도메인으로 확장하고 요약 작업의 학습을 위해 두 개의 다국어 데이터 세트인 EcommerceMKP와 AcademicMKP를 사용하여 당시 최고의 결과를 달성했습니다.