While existing RALMs (Siriwardhana et al., 2023) (Guu et al., 2020) (Borgeaud et al., 2022) can greatly improve the performance of LMs in various domains, some of them require extensive model changes as well as complex pre-training and fine-tuning operations, which greatly increases the time and space overhead and also reduces the scalability of RALMs. In addition, as the scale of retrieval increases, so does the complexity of storing and accessing the data sources. As a result, researchers must weigh the benefits of modifying the model against the costs.
기존의 RALM(Siriwardhana et al., 2023)(Guu et al., 2020)(Borgeaud et al., 2022)은 다양한 도메인에서 LM의 성능을 크게 향상시킬 수 있지만, 일부는 광범위한 모델 변경은 물론 복잡한 pre-training 및 Fine-tuning 작업이 필요하기 때문에 시간과 공간 오버헤드가 크게 증가하고 RALM의 확장성도 저하됩니다. 또한 retrieval 규모가 커질수록 데이터 소스를 저장하고 액세스하는 복잡성이 증가합니다. 결과적으로 연구자들은 모델 수정의 이점과 비용을 비교해야 합니다.
기존의 RLM(Siriwardhana et al., 2023)(Guu et al., 2020)(Borgeaud et al., 2022)은 다양한 도메인에서 LM의 성능을 크게 향상시킬 수 있지만, 일부는 광범위한 모델 변경은 물론 복잡한 사전 학습 및 미세 조정 작업이 필요하기 때문에 시간과 공간 오버헤드가 크게 증가하고 RLM의 확장성도 저하됩니다. 또한 검색 규모가 커질수록 데이터 소스를 저장하고 액세스하는 복잡성이 증가합니다. 결과적으로 연구자들은 모델 수정의 이점과 비용을 비교해야 합니다.