A simple way to determine the timing of a retrieval is to adjust the retrieval steps. Ram et al. (2023) utilised an approach that involved a prefix encoding to adjust the runtime cost. The prefix encoding of the generated content was constantly recalculated. The choice of retrieval stride is a trade-off between runtime and performance. According to Toolformer (Schick et al., 2024), the search command can be used directly to retrieve useful information when the model needs to retrieve documentation help in the process of generating content. Inspired by this idea, Jiang et al. (2023c) propose two methods for determining the timing of retrieval. The first method involves interrupting the generation of the LM when it encounters a place where a retrieval needs to be performed and then performing the retrieval operation. The second method involves generating a temporary sentence in its entirety.
검색 타이밍을 결정하는 간단한 방법은 검색 단계를 조정하는 것입니다. Ram 등(2023)은 런타임 비용을 조정하기 위해 prefix encoding을 포함하는 접근 방식을 활용했습니다. 생성된 콘텐츠의 prefix encoding은 지속적으로 재계산되었습니다. 검색 간격의 선택은 런타임과 성능 사이의 절충안입니다. Toolformer(Schick et al., 2024)에 따르면, 모델이 콘텐츠를 생성하는 과정에서 문서 도움말을 검색해야 할 때 검색 명령을 직접 사용하여 유용한 정보를 검색할 수 있습니다. 이 아이디어에서 영감을 받아 Jiang 등(2023c)은 검색 타이밍을 결정하기 위한 두 가지 방법을 제안합니다. 첫 번째 방법은 검색이 필요한 위치에 도달하면 LM의 생성을 중단한 다음 검색 작업을 수행하는 것입니다. 두 번째 방법은 임시 문장을 전체적으로 생성하는 것입니다.
검색 타이밍을 결정하는 간단한 방법은 검색 단계를 조정하는 것입니다. Ram 등(2023)은 런타임 비용을 조정하기 위해 접두사 인코딩을 포함하는 접근 방식을 활용했습니다. 생성된 콘텐츠의 접두사 인코딩은 지속적으로 재계산되었습니다. 검색 간격의 선택은 런타임과 성능 사이의 절충안입니다. Toolformer(Schick et al., 2024)에 따르면, 모델이 콘텐츠를 생성하는 과정에서 문서 도움말을 검색해야 할 때 검색 명령을 직접 사용하여 유용한 정보를 검색할 수 있습니다. 이 아이디어에서 영감을 받아 Jiang 등(2023c)은 검색 타이밍을 결정하기 위한 두 가지 방법을 제안합니다. 첫 번째 방법은 검색이 필요한 위치에 도달하면 LM의 생성을 중단한 다음 검색 작업을 수행하는 것입니다. 두 번째 방법은 임시 문장을 전체적으로 생성하는 것입니다.