More generally, if \(g_{\theta}\) is composed of residual layers but no normalization layers then \(g_{\theta}(p)=\sum_{i}L_{i}(p)\), where \(L_{i}(p)\) is the output of the \(i\)th residual layer in the model, ignoring the skip connection (Ehlage et al., 2021; Veit et al., 2016). Assume also that each \(L_{i}\) has a final layer that is a fully connected linear layer and a linear input layer (this assumption is true for both attention and MLP modules in transformers without normalization layers). Constructing \(\theta^{\prime}\) such that each \(L_{i}\) has input weights pre-multiplied by \(\mathbf{S}^{-1}\) and output FC weights multiplied by \(\mathbf{S}\), we have \(g_{\theta^{\prime}}(p)=\sum_{i}\mathbf{S}L_{i}(p)=\mathbf{S}\cdot g_{\theta}(p)\) by linearity.
더 일반적으로, \(g_{\theta}\)가 residual layers로 구성되어 있지만 normalization layers가 없는 경우 \(g_{\theta}(p)=\sum_{i}L_{i}(p)\), 여기서 \(L_{i}(p)\)는 skip connection을 무시하고 모델에서 \(i\)번째 residual layer의 출력입니다(Ehlage et al., 2021; Veit et al., 2016). 또한 각 \(L_{i}\)에 최종 layer가 fully connected linear layer와 linear input layer라고 가정합니다(이 가정은 normalization layers가 없는 Transformers의 attention 및 MLP 모듈 모두에 해당됩니다). 각 \(L_{i}\)에 입력 가중치에 \(\mathbf{S}^{-1}\)을 곱하고 출력 FC 가중치에 \(\mathbf{S}\)를 곱하는 \(\theta^{\prime}\)를 구성하면 선형성에 의해 \(g_{\theta^{\prime}}(p)=\sum_{i}\mathbf{S}L_{i}(p)=\mathbf{S}\cdot g_{\theta}(p)\)가 됩니다.
더 일반적으로, \(g_{\theta}\)가 잔차 레이어로 구성되어 있지만 정규화 레이어가 없는 경우 \(g_{\theta}(p)=\sum_{i}L_{i}(p)\), 여기서 \(L_{i}(p)\)는 스킵 연결을 무시하고 모델에서 \(i\)번째 잔차 레이어의 출력입니다(Ehlage et al., 2021; Veit et al., 2016). 또한 각 \(L_{i}\)에 최종 레이어가 완전히 연결된 선형 레이어와 선형 입력 레이어라고 가정합니다(이 가정은 정규화 레이어가 없는 트랜스포머의 주의 및 MLP 모듈 모두에 해당됩니다). 각 \(L_{i}\)에 입력 가중치에 \(\mathbf{S}^{-1}\)을 곱하고 출력 FC 가중치에 \(\mathbf{S}\)를 곱하는 \(\theta^{\prime}\)를 구성하면 선형성에 의해 \(g_{\theta^{\prime}}(p)=\sum_{i}\mathbf{S}L_{i}(p)=\mathbf{S}\cdot g_{\theta}(p)\)가 됩니다.