Our work paves the way for a better understanding of the consequences of the softmax bottleneck on language modeling, and for the conception of language models that better embrace the complexity of the target probability distribution.
우리의 연구는 언어 모델링에서 소프트맥스 병목 현상의 결과에 대한 더 나은 이해와 목표 확률 분포의 복잡성을 더 잘 수용하는 언어 모델의 구상을 위한 길을 열어줍니다.
우리의 연구는 소프트맥스 병목 현상이 언어 모델링에 미치는 영향을 더 잘 이해하고, 목표 확률 분포의 복잡성을 더 잘 포용하는 언어 모델을 설계하는 데 길을 닦는다.