The Selfmem Cheng et al. (2024) system employs two distinct language models for the machine translation task. The first is a trainable mini-model, which has been trained using a joint and bipartite approach, respectively. The second is a few-shot prompted LLM. Ultimately, Selfmem has demonstrated a notable enhancement in its performance across all four translation directions and for both training architectures. This outcome suggests that enhanced memory capabilities often result in superior generation outcomes. In order to achieve the best results, TRIME Zhong et al. (2022) used the IWSLT'14 De-En baseline. Given that the task is sentence-level, the researchers did not use local memory and long-term memory, as there are few repetitive tokens in them. Instead, they used only external memory, which enabled them to beat the KNN-MT Khandelwal et al. (2020) in performance.
Selfmem Cheng et al.(2024) 시스템은 기계 번역 작업을 위해 두 가지 언어 모델을 사용합니다. 첫 번째는 joint 및 bipartite 접근 방식을 각각 사용하여 학습된 훈련 가능한 미니 모델입니다. 두 번째는 few-shot prompted LLM입니다. 궁극적으로 Selfmem은 네 가지 번역 방향 모두에서 두 가지 훈련 아키텍처에 대해 두드러진 성능 향상을 보여주었습니다. 이 결과는 향상된 메모리 기능이 종종 더 우수한 생성 결과를 가져온다는 것을 시사합니다. 최상의 결과를 얻기 위해 TRIME Zhong et al.(2022)은 IWSLT'14 De-En baseline을 사용했습니다. 이 작업은 문장 단위이므로 반복되는 토큰이 거의 없기 때문에 연구자들은 로컬 메모리와 장기 메모리를 사용하지 않았습니다. 대신 외부 메모리만 사용하여 KNN-MT Khandelwal et al.(2020)의 성능을 뛰어넘을 수 있었습니다.
Selfmem Cheng et al.(2024) 시스템은 기계 번역 작업을 위해 두 가지 언어 모델을 사용합니다. 첫 번째는 조인트 및 이분법 접근 방식을 각각 사용하여 학습된 훈련 가능한 미니 모델입니다. 두 번째는 몇 번의 샷 프롬프트 LLM입니다. 궁극적으로 Selfmem은 네 가지 번역 방향 모두에서 두 가지 훈련 아키텍처에 대해 두드러진 성능 향상을 보여주었습니다. 이 결과는 향상된 메모리 기능이 종종 더 우수한 생성 결과를 가져온다는 것을 시사합니다. 최상의 결과를 얻기 위해 TRIME Zhong et al.(2022)은 IWSLT'14 De-En 기준을 사용했습니다. 이 작업은 문장 단위이므로 반복되는 토큰이 거의 없기 때문에 연구자들은 로컬 메모리와 장기 메모리를 사용하지 않았습니다. 대신 외부 메모리만 사용하여 KNN-MT Khandelwal et al.(2020)의 성능을 뛰어넘을 수 있었습니다.