In order to empirically measure the effect of the rank of the linear head, we propose to train rank-constrained heads on pretrained contextual representations from highly-parameterized language models. In order to control the maximum rank \(r\), we consider heads of the form \(W=AB\in\mathbb{R}^{V\times d}\), where the coefficients of \(A\in\mathbb{R}^{V\times r}\) and \(B\in\mathbb{R}^{r\times d}\) are drawn from \(\mathcal{N}(0,1)\) (\(d\) being the hidden dimension of the model). The rank of such \(W\) matrices is limited by the parameter \(r\in[1,d]\), which we sweep over a wide range of values.
선형 헤드의 순위에 따른 효과를 경험적으로 측정하기 위해, 고도로 매개변수화된 언어 모델의 사전 학습된 컨텍스트 표현에 대해 rank-constrained 헤드를 학습시키는 것을 제안합니다. 최대 순위 \(r\)을 제어하기 위해 \(W=AB\in\mathbb{R}^{V\times d}\) 형식의 헤드를 고려하며, 여기서 \(A\in\mathbb{R}^{V\times r}\)와 \(B\in\mathbb{R}^{r\times d}\)의 계수는 \(\mathcal{N}(0,1)\)에서 추출됩니다(\(d\)는 모델의 숨겨진 차원). 이러한 \(W\) 행렬의 순위는 파라미터 \(r\in[1,d]\)에 의해 제한되며, 이는 다양한 값에 걸쳐 스윕합니다.
선형 헤드의 순위에 따른 효과를 경험적으로 측정하기 위해, 고도로 매개변수화된 언어 모델의 사전 학습된 컨텍스트 표현에 대해 순위 제한 헤드를 학습시키는 것을 제안합니다. 최대 순위 \(r\)을 제어하기 위해 \(W=AB\in\mathbb{R}^{V\times d}\) 형식의 헤드를 고려하며, 여기서 \(A\in\mathbb{R}^{V\times r}\)와 \(B\in\mathbb{R}^{r\times d}\)의 계수는 \(\mathcal{N}(0,1)\)에서 추출됩니다(\(d\)는 모델의 숨겨진 차원). 이러한 \(W\) 행렬의 순위는 파라미터 \(r\in[1,d]\)에 의해 제한되며, 이는 다양한 값에 걸쳐 스윕합니다.