The KNN-LM approach involves linearly interpolating the extended neural language model with the K-Nearest Neighbours in the pre-trained LM embedding space. Zhong et al. (2022) proposed different processing for three types of memories (local, long-term and external) and added training for in-batch tokens to KNN-LM. The proposed changes aim to improve the performance of the model. Unlike KNN-LM, which only uses memory units during training, TRIME Zhong et al. (2022) uses memory units during both testing and training. He et al. (2021) suggested that not all generated tokens need to be retrieved. Instead, a lightweight neural network can be trained to aid the KNN-LM in adaptive retrieval. Additionally, efficiency can be improved through database streamlining and dimension reduction. Alon et al. (2022) proposed RETOMATON, an unsupervised, weighted finite automaton built on top of the data store. RETOMATON is based on saving pointers between successive data store entries and clustering techniques. RETOMATON is more effective than ADAPTRETHe et al. (2021) in improving accuracy by utilizing remaining pointers during KNN retrieval. Even without KNN retrieval, interpolation operations can still be performed using the stored previous information in the pointers, unlike ADAPTRET which solely relies on the language model. Furthermore, RETOMATON is unsupervised, requiring no additional data for training, making it more data-efficient. Grave et al. (2016) proposed using continuous cache to improve the performance of KNN-LM. This involves storing past hidden activations and accessing them at the appropriate time by dot product with present hidden activation. Yogatama et al. (2021) utilise an extended short-term context by caching local hidden states and global long-term memory by retrieving a set of nearest-neighbour tokens at each time step. They also design a gating function to adaptively combine multiple sources of information for prediction. Compared to KNN-LM, this method uses dynamic weights and can handle cases where interpolation is not feasible, such as when the memory output is an image, video, or sound. Drozdov et al. (2022) proposed a method for adjusting the interpolation weights. The weights are dynamically adjusted based on the size of the region of overlap between the retrieved stored data and the assessment set, which reflects the quality of the retrieval.
KNN-LM 접근 방식은 확장된 신경 언어 모델을 사전 학습된 LM embedding 공간에서 K-Nearest Neighbours로 선형 보간하는 방식입니다. Zhong 등(2022)은 세 가지 유형의 메모리(로컬, 장기 및 외부)에 대해 서로 다른 처리를 제안하고 KNN-LM에 in-batch tokens에 대한 훈련을 추가했습니다. 제안된 변경 사항은 모델의 성능을 개선하는 것을 목표로 합니다. 훈련 중에 메모리 유닛만 사용하는 KNN-LM과 달리, TRIME Zhong 등(2022)은 테스트 및 훈련 모두에서 메모리 유닛을 사용합니다. He 등(2021)은 생성된 모든 토큰을 검색할 필요가 없다고 제안했습니다. 대신, 적응형 검색에서 KNN-LM을 지원하기 위해 경량 신경망을 훈련할 수 있습니다. 또한 데이터베이스 간소화 및 차원 축소를 통해 효율성을 개선할 수 있습니다. Alon 등(2022)은 데이터 저장소 위에 구축된 비지도 가중 유한 오토마톤인 RETOMATON을 제안했습니다. RETOMATON은 연속적인 데이터 저장소 항목 간의 포인터 저장 및 클러스터링 기술을 기반으로 합니다. RETOMATON은 KNN retrieval 중에 남은 포인터를 활용하여 정확도를 개선하는 데 있어 ADAPTRETHe 등(2021)보다 더 효과적입니다. KNN retrieval에 의존하지 않더라도, 포인터에 저장된 이전 정보를 사용하여 interpolation 연산을 수행할 수 있는데, 이는 언어 모델에만 의존하는 ADAPTRET과는 다릅니다. 또한, RETOMATON은 비지도 방식이므로 훈련을 위한 추가 데이터가 필요하지 않아 데이터 효율성이 더 높습니다. Grave 등(2016)은 KNN-LM의 성능을 개선하기 위해 연속 캐시 사용을 제안했습니다. 여기에는 과거 숨겨진 활성화를 저장하고 현재 숨겨진 활성화와의 dot product로 적절한 시기에 액세스하는 것이 포함됩니다. Yogatama 등(2021)은 로컬 숨겨진 상태를 캐시하여 확장된 단기 컨텍스트를 활용하고, 각 시간 단계에서 가장 가까운 이웃 토큰 집합을 검색하여 글로벌 장기 메모리를 활용합니다. 또한 예측을 위해 여러 정보 소스를 적응적으로 결합하는 게이팅 함수를 설계했습니다. 이 방법은 동적 가중치를 사용하며, 메모리 출력이 이미지, 비디오 또는 사운드인 경우와 같이 interpolation이 불가능한 경우를 처리할 수 있습니다. Drozdov 등(2022)은 interpolation 가중치를 조정하는 방법을 제안했습니다. 가중치는 검색된 저장 데이터와 평가 집합 간의 겹치는 영역의 크기에 따라 동적으로 조정되며, 이는 검색의 품질을 반영합니다.
KNN-LM 접근 방식은 확장된 신경 언어 모델을 사전 학습된 LM 임베딩 공간에서 K-최근접 이웃으로 선형 보간하는 방식입니다. Zhong 등(2022)은 세 가지 유형의 메모리(로컬, 장기 및 외부)에 대해 서로 다른 처리를 제안하고 KNN-LM에 인배치 토큰에 대한 훈련을 추가했습니다. 제안된 변경 사항은 모델의 성능을 개선하는 것을 목표로 합니다. 훈련 중에 메모리 유닛만 사용하는 KNN-LM과 달리, TRIME Zhong 등(2022)은 테스트 및 훈련 모두에서 메모리 유닛을 사용합니다. He 등(2021)은 생성된 모든 토큰을 검색할 필요가 없다고 제안했습니다. 대신, 적응형 검색에서 KNN-LM을 지원하기 위해 경량 신경망을 훈련할 수 있습니다. 또한 데이터베이스 간소화 및 차원 축소를 통해 효율성을 개선할 수 있습니다. Alon 등(2022)은 데이터 저장소 위에 구축된 비지도 가중 유한 오토마톤인 RETOMATON을 제안했습니다. RETOMATON은 연속적인 데이터 저장소 항목 간의 포인터 저장 및 클러스터링 기술을 기반으로 합니다. RETOMATON은 KNN 검색 중에 남은 포인터를 활용하여 정확도를 개선하는 데 있어 ADAPTRETHe 등(2021)보다 더 효과적입니다. KNN 검색에 의존하지 않더라도, 포인터에 저장된 이전 정보를 사용하여 보간 연산을 수행할 수 있는데, 이는 언어 모델에만 의존하는 ADAPTRET과는 다릅니다. 또한, RETOMATON은 비지도 방식이므로 훈련을 위한 추가 데이터가 필요하지 않아 데이터 효율성이 더 높습니다. Grave 등(2016)은 KNN-LM의 성능을 개선하기 위해 연속 캐시 사용을 제안했습니다. 여기에는 과거 숨겨진 활성화를 저장하고 현재 숨겨진 활성화와의 도트 곱으로 적절한 시기에 액세스하는 것이 포함됩니다. 요가타마 등(2021)은 로컬 숨겨진 상태를 캐시하여 확장된 단기 컨텍스트를 활용하고, 각 시간 단계에서 가장 가까운 이웃 토큰 집합을 검색하여 글로벌 장기 메모리를 활용합니다. 또한 예측을 위해 여러 정보 소스를 적응적으로 결합하는 게이팅 함수를 설계했습니다. 이 방법은 동적 가중치를 사용하며, 메모리 출력이 이미지, 비디오 또는 사운드인 경우와 같이 보간이 불가능한 경우를 처리할 수 있습니다. Drozdov 등(2022)은 보간 가중치를 조정하는 방법을 제안했습니다. 가중치는 검색된 저장 데이터와 평가 집합 간의 겹치는 영역의 크기에 따라 동적으로 조정되며, 이는 검색의 품질을 반영합니다.