**RETRO:** In [82], Borgeaud et al. enhanced auto-regressive language models by conditioning on document chunks retrieved from a large corpus, based on local similarity with preceding tokens. Using a 2-trillion-token database, the Retrieval-Enhanced Transformer (Retro) obtains comparable performance to GPT-3 and Jurassic-1 [83] on the Pile, despite using 25% fewer parameters. As shown in Fig 18, Retro combines a frozen Bert retriever, a differentiable encoder and a chunked cross-attention mechanism to predict tokens based on an order of magnitude more data than what is typically consumed during training.
**RETRO:** Borgeaud 등은 [82]에서 큰 말뭉치에서 검색된 문서 청크를 선행 토큰과의 로컬 유사도를 기반으로 조절하여 자동 회귀 언어 모델을 향상시켰습니다. 2조 토큰 데이터베이스를 사용하는 Retrieval-Enhanced Transformer (Retro)는 파라미터를 25% 더 적게 사용하면서도 Pile에 대해 GPT-3 및 Jurassic-1 [83]과 비슷한 성능을 얻습니다. 그림 18에서 볼 수 있듯이, Retro는 냉동된 Bert retriever, 차별화 가능한 encoder, 청크된 cross-attention 메커니즘을 결합하여 일반적으로 훈련 중에 소비되는 데이터보다 훨씬 더 많은 데이터를 기반으로 토큰을 예측합니다.
**RETRO:** Borgeaud 등은 [82]에서 큰 말뭉치에서 검색된 문서 청크를 선행 토큰과의 로컬 유사도를 기반으로 조절하여 자동 회귀 언어 모델을 향상시켰습니다. 2조 토큰 데이터베이스를 사용하는 검색 강화 트랜스포머(Retro)는 파라미터를 25% 더 적게 사용하면서도 파일에 대해 GPT-3 및 Jurassic-1 [83]과 비슷한 성능을 얻습니다. 그림 18에서 볼 수 있듯이, Retro는 냉동된 Bert 검색기, 차별화 가능한 인코더, 청크된 교차 주의 메커니즘을 결합하여 일반적으로 훈련 중에 소비되는 데이터보다 훨씬 더 많은 데이터를 기반으로 토큰을 예측합니다.