Here, \(\sigma\) and \(z_{\text{s}-1}\in\mathbb{R}^{d_{key}}\) are a nonlinear activation function and a normalization term, respectively. As the choice of the non-linearity and the norm method is crucial for training stability, following Katharopoulos et al. (2020) we record a sum over all keys as the normalization term \(z_{\text{s}-1}\) and use element-wise ELU + 1 as the activation function (Clevert et al., 2015).
여기서 (\(\sigma\) 및 \(z_{\text{s}-1}\in\mathbb{R}^{d_{key}}\)는 각각 비선형 activation 함수와 normalization 항입니다. 비선형성과 norm 방법의 선택은 training 안정성에 결정적인 역할을 하므로 Katharopoulos 등(2020)에 따라 모든 키에 대한 합계를 normalization 항 \(z_{\text{s}-1}\)로 기록하고 activation 함수로 요소별 ELU + 1을 사용합니다(Clevert et al., 2015).
여기서 (\(\sigma\) 및 \(z_{\text{s}-1}\in\mathbb{R}^{d_{key}}\)는 각각 비선형 활성화 함수와 정규화 항입니다. 비선형성과 규범화 방법의 선택은 훈련 안정성에 결정적인 역할을 하므로 Katharopoulos 등(2020)에 따라 모든 키에 대한 합계를 정규화 항 \(z_{\text{s}-1}\)로 기록하고 활성화 함수로 요소별 ELU + 1을 사용합니다(Clevert et al., 2015).