Softmax BottleneckThe concept of _softmax bottleneck_ was introduced in Yang et al. (2018), where the authors show that a model using a hidden dimension inferior to the rank of the contextual probability matrix cannot predict correctly in every context. They then hypothesize that this rank is relatively high in natural language and propose an alternative method for the predictive layer of language models. Subsequent works have explored negative effects of the softmax linear layer on language modeling performance (Chang & McCallum, 2022) and possible alternatives (Lin, 2021; Kanai et al., 2018). We extend this line of work by quantifying the critical dimensionalities involved in the softmax bottleneck.
소프트맥스 병목 _softmax bottleneck_의 개념은 Yang 등(2018)에서 소개되었는데, 저자들은 문맥 확률 행렬의 순위보다 낮은 차원을 사용하는 모델은 모든 문맥에서 올바르게 예측할 수 없다는 것을 보여주었습니다. 그런 다음 자연어에서 이 순위가 상대적으로 높다고 가설을 세우고 언어 모델의 예측 레이어에 대한 대체 방법을 제안했습니다. 후속 연구에서는 softmax 선형 레이어가 언어 모델링 성능에 미치는 부정적인 영향(Chang & McCallum, 2022)과 가능한 대안(Lin, 2021; Kanai et al., 2018)을 탐구했습니다. 이 연구에서는 softmax bottleneck과 관련된 중요한 차원을 정량화하여 이러한 연구를 확장했습니다.
소프트맥스 병목_소프트맥스 병목_의 개념은 Yang 등(2018)에서 소프트맥스 병목이라는 개념이 소개되었는데, 저자들은 문맥 확률 행렬의 순위보다 낮은 차원을 사용하는 모델은 모든 문맥에서 올바르게 예측할 수 없다는 것을 보여주었습니다. 그런 다음 자연어에서 이 순위가 상대적으로 높다고 가설을 세우고 언어 모델의 예측 레이어에 대한 대체 방법을 제안했습니다. 후속 연구에서는 소프트맥스 선형 레이어가 언어 모델링 성능에 미치는 부정적인 영향(Chang & McCallum, 2022)과 가능한 대안(Lin, 2021; Kanai et al., 2018)을 탐구했습니다. 이 연구에서는 소프트맥스 병목 현상과 관련된 중요한 차원을 정량화하여 이러한 연구를 확장했습니다.