Due to the limited space, we employ a more concise notation. We denote deactivating neurons in the self-attention layer of the \(i\)-th layer as \(D_{i}^{(A)}\), while deactivating neurons in the feed-forward layer of the \(i\)-th layer is denoted as \(D_{i}^{(F)}\). We denote \(\mathcal{U}=\{1,\cdots,N_{1}\}\) as the set of layers that take charge of understanding as shown in Figure 2. Similarly, we denote \(\mathcal{S}=\{N_{1}+1,\cdots,N_{2}\}\) as the set of layers that take charge of task solving and \(\mathcal{G}=\{N_{2}+1,\cdots,32\}\) as the set of layers that take charge of generation5. Furthermore, \(D_{\mathcal{U}}^{(A)}\) represents deactivating neurons in self-attention layers of \(\mathcal{U}\). Similarly, we introduce \(D_{\mathcal{U}}^{(F)}\), \(D_{\mathcal{S}}^{(A)}\), \(D_{\mathcal{S}}^{(F)}\), \(D_{\mathcal{G}}^{(A)}\) and \(D_{\mathcal{G}}^{(A)}\).
제한된 공간으로 인해 더 간결한 표기법을 사용합니다. \(i\)-번째 레이어의 self-attention 레이어에서 뉴런을 비활성화하는 것을 \(D_{i}^{(A)}\)로 표시하고, \(i\)-번째 레이어의 feed-forward 레이어에서 뉴런을 비활성화하는 것을 \(D_{i}^{(F)}\)로 표시합니다. 그림 2와 같이 이해를 담당하는 레이어 집합을 \(\mathcal{U}=\{1,\cdots,N_{1}\}\)로 표시합니다. 마찬가지로, \(\mathcal{S}=\{N_{1}+1,\cdots,N_{2}\}\)는 문제 해결을 담당하는 레이어 집합으로, \(\mathcal{G}=\{N_{2}+1,\cdots,32\}\)는 생성5를 담당하는 레이어 집합으로 표시합니다. 또한 \(D_{\mathcal{U}}^{(A)}\)는 \(\mathcal{U}\)의 self-attention 레이어에서 뉴런을 비활성화하는 것을 나타냅니다. 마찬가지로 \(D_{\mathcal{U}}^{(F)}\), \(D_{\mathcal{S}}^{(A)}\), \(D_{\mathcal{S}}^{(F)}\), \(D_{\mathcal{G}}^{(A)}\) 및 \(D_{\mathcal{G}}^{(A)}\)를 도입합니다.
제한된 공간으로 인해 더 간결한 표기법을 사용합니다. i\)-번째 레이어의 자기 주의도 레이어에서 뉴런을 비활성화하는 것을 \(D_{i}^{(A)}\)로 표시하고, i\)-번째 레이어의 피드 포워드 레이어에서 뉴런을 비활성화하는 것을 \(D_{i}^{(F)}\)로 표시합니다. 그림 2와 같이 이해를 담당하는 레이어 집합을 \(\mathcal{U}=\{1,\cdots,N_{1}\}\)로 표시합니다. 마찬가지로, \(\mathcal{S}=\{N_{1}+1,\cdots,N_{2}\}\)는 문제 해결을 담당하는 레이어 집합으로, \(\mathcal{G}=\{N_{2}+1,\cdots,32\}\)는 생성5를 담당하는 레이어 집합으로 표시합니다. 또한 \(D_{\mathcal{U}}^{(A)}\)는 \(\mathcal{U}\)의 자기 주의도 레이어에서 뉴런을 비활성화하는 것을 나타냅니다. 마찬가지로 \(D_{\mathcal{U}}^{(F)}\), \(D_{\mathcal{S}}^{(A)}\), \(D_{\mathcal{S}}^{(F)}\), \(D_{\mathcal{G}}^{(A)}\) 및 \(D_{\mathcal{G}}^{(A)}\)를 도입합니다.