Another possible way forward consists in implementing more expressive softmax alternatives (Yang et al., 2018; Chang and McCallum, 2022) in the context of pretraining small language models on large datasets. We leave the exploration of such techniques for future work.
또 다른 가능한 방법은 대규모 데이터 세트에서 작은 언어 모델을 pretraining하는 맥락에서 더 표현력이 풍부한 softmax 대안(Yang et al., 2018; Chang and McCallum, 2022)을 구현하는 것입니다. 이러한 기술에 대한 탐구는 향후 작업으로 남겨두겠습니다.
또 다른 가능한 방법은 대규모 데이터 세트에서 작은 언어 모델을 사전 학습하는 맥락에서 더 표현력이 풍부한 소프트맥스 대안(Yang et al., 2018; Chang and McCallum, 2022)을 구현하는 것입니다. 이러한 기술에 대한 탐구는 향후 작업으로 남겨두겠습니다.