Artificial intelligence develops rapidly in the third wave which starts from the year 2010, among them, connectionism-based deep learning technology plays an extremely important role. The singular point of deep learning can be traced back to the proposal of AlexNet [1] which achieves the best performance (a far better result than second place) in the ImageNet [2] competition. After that, various Convolutional Neural Networks (CNN) are proposed one after another, such as VGG [3], ResNet [4], GoogleNet [5], etc. The ideas of blocks, residual connection, and inception inspire the design of many follow-up deep neural networks [6, 7]. On the other hand, the family of Recurrent Neural Networks (RNN), such as Long Short-Term Memory (LSTM) [8] and Gated Recurrent Unit (GRU) [9], dominates the sequence-based learning community, including natural language processing, and audio processing. Graph Neural Networks (GNNs) [10, 11] are proposed to further extend the applications of deep neural networks on graph data. However, these mainstream models still encounter bottlenecks when the datasets and computing power support are at their maximum.
인공 지능은 2010년부터 시작된 3차 물결에서 급속도로 발전하고 있으며, 그 중 connectionism 기반의 deep learning 기술이 매우 중요한 역할을 하고 있습니다. deep learning의 특징점은 ImageNet[2] 경진대회에서 최고의 성능(2위보다 훨씬 나은 결과)을 달성한 AlexNet[1]의 제안에서 찾을 수 있습니다. 그 후 VGG[3], ResNet[4], GoogleNet[5] 등 다양한 Convolutional Neural Networks (CNN)이 잇달아 제안되었습니다. 블록, residual connection, inception의 아이디어는 많은 후속 deep neural networks[6, 7]의 설계에 영감을 주었습니다. 반면에 Long Short-Term Memory (LSTM)[8] 및 Gated Recurrent Unit (GRU)[9]와 같은 Recurrent Neural Networks (RNN) 계열은 자연어 처리 및 오디오 처리를 포함한 시퀀스 기반 학습 커뮤니티를 지배하고 있습니다. Graph Neural Networks (GNNs)[10, 11]은 그래프 데이터에 대한 deep neural networks의 응용을 더욱 확장하기 위해 제안되었습니다. 그러나 이러한 주류 모델은 데이터 세트와 컴퓨팅 성능이 최대치에 도달했을 때 여전히 병목 현상에 직면해 있습니다.
인공 지능은 2010년부터 시작된 3차 물결에서 급속도로 발전하고 있으며, 그 중 연결주의 기반의 딥러닝 기술이 매우 중요한 역할을 하고 있습니다. 딥러닝의 특징점은 ImageNet[2] 경진대회에서 최고의 성능(2위보다 훨씬 나은 결과)을 달성한 AlexNet[1]의 제안에서 찾을 수 있습니다. 그 후 VGG[3], ResNet[4], GoogleNet[5] 등 다양한 컨볼루션 신경망(CNN)이 잇달아 제안되었습니다. 블록, 잔여 연결, 인셉션의 아이디어는 많은 후속 심층 신경망[6, 7]의 설계에 영감을 주었습니다. 반면에 장단기 메모리(LSTM)[8] 및 게이트 반복 장치(GRU)[9]와 같은 순환 신경망(RNN) 계열은 자연어 처리 및 오디오 처리를 포함한 시퀀스 기반 학습 커뮤니티를 지배하고 있습니다. 그래프 신경망(GNN)[10, 11]은 그래프 데이터에 대한 심층 신경망의 응용을 더욱 확장하기 위해 제안되었습니다. 그러나 이러한 주류 모델은 데이터 세트와 컴퓨팅 성능이 최대치에 도달했을 때 여전히 병목 현상에 직면해 있습니다.