Traditional natural language processing tasks typically employ statistic-based algorithms (Hogenboom et al., 2010)Serra et al. (2013)Aussenac-Gilles and Sorgel (2005) and deep learning algorithms such as convolutional neural network (CNN) (Yin et al., 2017), recurrent neural network (RNN) (Banerjee et al., 2019), long short-term memory network (LSTM) (Yao and Guan, 2018), and others. Recently, with the advent of the transformer architecture (Vaswani et al., 2017) as a leading representative of natural language processing, its popularity has grown significantly. The transformer architecture, as a prominent large language model (Lewis et al., 2019)Raffel et al. (2020) in the natural language processing domain, has consistently demonstrated enhanced performance, attracting the attention of an increasing number of researchers who are engaged in studying its capabilities.
전통적인 자연어 처리 작업은 일반적으로 통계 기반 알고리즘(Hogenboom et al., 2010)Serra et al. (2013)Aussenac-Gilles and Sorgel (2005) 및 convolutional neural network (CNN)(Yin et al., 2017), recurrent neural network (RNN)(Banerjee et al., 2019), long short-term memory network (LSTM)(Yao and Guan, 2018) 등의 딥러닝 알고리즘을 사용합니다. 최근에는 자연어 처리의 선도적인 대표로서 Transformer 아키텍처(Vaswani et al., 2017)가 등장하면서 그 인기가 크게 높아졌습니다. 자연어 처리 영역에서 두드러진 Large Language Model (LLM)(Lewis et al., 2019)Raffel et al. (2020)인 Transformer 아키텍처는 지속적으로 향상된 성능을 보여주며, 그 성능을 연구하는 연구자들의 관심이 급증하고 있습니다.
전통적인 자연어 처리 작업은 일반적으로 통계 기반 알고리즘(Hogenboom et al., 2010)Serra et al. (2013)Aussenac-Gilles and Sorgel (2005) 및 컨볼루션 신경망(CNN)(Yin et al., 2017), 순환 신경망(RNN)(Banerjee et al., 2019), 장단기 메모리 네트워크(LSTM)(Yao and Guan, 2018) 등의 딥러닝 알고리즘을 사용합니다. 최근에는 자연어 처리의 선도적인 대표로서 트랜스포머 아키텍처(Vaswani et al., 2017)가 등장하면서 그 인기가 크게 높아졌습니다. 자연어 처리 영역에서 두드러진 대규모 언어 모델(Lewis et al., 2019)Raffel et al. (2020)인 트랜스포머 아키텍처는 지속적으로 향상된 성능을 보여주며, 그 성능을 연구하는 연구자들의 관심이 급증하고 있습니다.