Inspired by the success of delta rule (Munkhdalai et al., 2019; Schlag et al., 2020, 2021), we have also incorporated it into our Infini-attention. The delta rule attempts a slightly improved memory update by first retrieving existing value entries and subtracting them from the new values before applying the associative bindings as new update.
델타 규칙(Munkhdalai et al., 2019; Schlag et al., 2020, 2021)의 성공에서 영감을 받아 Infini-attention에 델타 규칙도 통합했습니다. 델타 규칙은 기존 값 항목을 먼저 검색하여 새 값에서 빼고 연관 바인딩을 새 업데이트로 적용하여 메모리 업데이트를 약간 개선하려고 시도합니다.
델타 규칙(Munkhdalai et al., 2019; Schlag et al., 2020, 2021)의 성공에서 영감을 받아 인피니 어텐션에 델타 규칙도 통합했습니다. 델타 규칙은 기존 값 항목을 먼저 검색하여 새 값에서 빼고 연관 바인딩을 새 업데이트로 적용하여 메모리 업데이트를 약간 개선하려고 시도합니다.