Reducing the overhead can be considered from three perspectives: first, some plug-and-play intermediate modules can be designed, e.g., CRAG (Yan et al., 2024), Selfmem (Cheng et al., 2024), AI agent (Peng et al., 2023), or some deployment solutions, e.g., LangChain, Llama Index, so that there is no need to make targeted improvements for each model. Second, Internet retrieval can be utilized to reduce the overhead of the retriever, but attention needs to be paid to the data relevance mentioned earlier. Finally, In-context learning can be employed to reduce the overhead associated with improving LMs, e.g., ICRALM (Ram et al., 2023).
오버헤드를 줄이는 것은 세 가지 관점에서 고려할 수 있습니다. 첫째, 일부 plug-and-play 중간 모듈을 설계할 수 있습니다(예: CRAG(Yan et al., 2024), Selfmem(Cheng et al., 2024), AI agent(Peng et al., 2023) 또는 일부 배포 솔루션(예: LangChain, Llama Index)을 설계하여 각 모델에 대해 목표적인 개선을 할 필요가 없습니다. 둘째, 인터넷 검색을 활용하여 검색기의 오버헤드를 줄일 수 있지만 앞서 언급한 데이터 관련성에 주의를 기울여야 합니다. 마지막으로, In-context Learning을 사용하여 LM 개선과 관련된 오버헤드를 줄일 수 있습니다(예: ICRALM(Ram et al., 2023)).
오버헤드를 줄이는 것은 세 가지 관점에서 고려할 수 있습니다. 첫째, 일부 플러그 앤 플레이 중간 모듈을 설계할 수 있습니다(예: CRAG(Yan et al., 2024), Selfmem(Cheng et al., 2024), AI 에이전트(Peng et al., 2023) 또는 일부 배포 솔루션(예: LangChain, Llama Index)을 설계하여 각 모델에 대해 목표적인 개선을 할 필요가 없습니다. 둘째, 인터넷 검색을 활용하여 검색기의 오버헤드를 줄일 수 있지만 앞서 언급한 데이터 관련성에 주의를 기울여야 합니다. 마지막으로, 컨텍스트 내 학습을 사용하여 LM 개선과 관련된 오버헤드를 줄일 수 있습니다(예: ICRALM(Ram et al., 2023)).