or 인공 신경망 Autoencoder 딥 러닝 다층 퍼셉트론 순환 신경망 LSTM GRU Restricted Boltzmann machine 자기조직화지도 합성곱 신경망 강화 학습 Q 러닝 SARSA 시간차 학습 이론 편향 - 분산 트레이드오프 Computational learning theory Empirical risk minimization PAC learning Statistical learning VC theory v. d. e. h 딥 러닝 또는 심층학습 ( [UNK] [UNK] 學 [UNK], 영어 : deep structured learing, deep learning 또는 hierarchical learning ) 은 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화 ( abstractions, 다량의 데이터나 복잡한 자료들 속에서 핵심적인 내용 또는 기능을 요약하는 작업 ) 를 시도하는 기계학습 알고리즘의 집합 [ 1 ] 으로 정의되며, 큰 틀에서 사람의 사고방식을 컴퓨터에게 가르치는 기계학습의 한 분야라고 이야기할 수 있다. 어떠한 데이터가 있을 때 이를 컴퓨터가 알아 들을 수 있는 형태 ( 예를 들어 이미지의 경우는 픽셀정보를 열벡터로 표현하는 등 ) 로 표현 ( representation ) 하고 이를 학습에 적용하기 위해 많은 연구 ( 어떻게 하면 더 좋은 표현기법을 만들고 또 어떻게 이것
의 경우는 픽셀정보를 열벡터로 표현하는 등 ) 로 표현 ( representation ) 하고 이를 학습에 적용하기 위해 많은 연구 ( 어떻게 하면 더 좋은 표현기법을 만들고 또 어떻게 이것들을 학습할 모델을 만들지에 대한 ) 가 진행되고 있으며, 이러한 노력의 결과로 deep neural networks, convolutional deep neural networks, deep belief networks와 같은 다양한 딥 러닝 기법들이 [UNK], 음성인식, 자연어처리, 음성 / 신호처리 등의 분야에 적용되어 최첨단의 결과들을 보여주고 있다. 2012년 스탠포드대학의 앤드류 응과 구글이 함께한 딥 러닝 프로젝트에서는 16, 000개의 컴퓨터 프로세서와 10억 개 이상의 neural networks 그리고 DNN ( deep neural networks ) 을 이용하여 유튜브에 업로드 되어 있는 천만 개 넘는 비디오 중 고양이 인식에 성공하였다. [ 2 ] 이 소프트웨어 프레임워크를 논문에서는 DistBelief로 언급하고 있다 [ 3 ]. 이뿐만 아니라 마이크로소프트, 페이스북 [ 4 ] 등도 연구팀을 인수하거나 자체 개발팀을 운영하면서 인상적인 업적들을 만들어 내고 있다. 목차 1 딥 러닝의 역사 2 왜 다시 딥 러닝인가 3 알고리즘
, 이는 훈련용 데이터가 적을수록 가중치의 초기값이 결과적인 모델에 끼치는 영향이 세지기 때문이다. 선행학습된 가중치 초기값은 임의로 설정된 가중치 초기값에 비해 최적의 가중치에 가깝게 되고 이는 미조정 단계의 성능과 속도향상을 가능케 한다. DBN은 비지도 방식으로 계층마다 학습을 진행하는데 이때 각각의 계층은 보통 RBM의 형태를 띄고 있다. RBM들을 쌓아 올리면서 DBN을 훈련시키는 방법에 대한 설명은 아래에 제공 되어 있다. RBM은 에너지 기반의 생성 모형으로 가시 유닛과 은닉 유닛으로 이루어진 무방향 이분 그래프 형태이다. 가시 유닛들과 은닉 유닛들 사이에만 연결이 존재한다. RBM이 훈련되고 나면 다른 RBM이 그 위에 쌓아 올려짐으로써 다중 계층 모형을 형성한다. RBM이 쌓아 올려질 때마다, 이미 훈련된 RBM의 최상위 계층이 새로 쌓이는 RBM의 입력으로 쓰인다. 이 입력을 이용하여 새 RBM이 훈련되고, 원하는 만큼의 계층이 쌓일 때까지 해당 과정이 반복된다. 실험결과에 따르면, CD의 최대가능도 근사가 굉장히 투박함에도 불구하고, 심층 신경망 구조를 학습하기에는 충분히 효과적인 방식이라고 한다. 심층 Q - 네트워크 ( Deep
ector grammar는 재귀 신경망으로 구현된 probabilistic context free grammar ( PCFG ) 라고 할 수 있다. 단어표현을 기반으로 구성된 Recursive autoencoder는 문장 간의 유사도 판단과 의역 탐지를 하도록 훈련이 가능하다. 이러한 심층 인공신경망 구조들은 자동 번역 ( machine translation ), 감정 분석 ( sentiment analysis ), 정보 검색 ( information retrieval ) 을 비롯한 다양한 자연언어처리 관련 연구에서 최첨단 기술로서 쓰이고 있다. 약물 발견과 독성학 [ 편집 ] 제약 산업에서 많은 수의 약들은 시장에 출시되지 못한다. 이렇게 실패하는 이유중 하나는 생각한 만큼의 효험을 보이지 못하거나, 예상치 못한 다른 작용을 일으키기 때문이다. 이를 해결하기 위해 2012년 George Dahl의 팀은 다중 DNN을 약의 효험을 예측하는 데에 활용하여 " Merck Molecular Activity Challenge " 에 우승하였고 [ 47 ] [ 48 ], 2014년 Sepp Hochreiter의 팀은 예상치 못한 다른 작용을 사전에 탐지하기 위해 딥 러닝을 활용하여 " Tox21 Data Challenge " 에서 우승하였다
ulemans, H. ; Wegner, J. K. ; & Hochreiter, S. ( 2014 ) " Deep Learning as an Opportunity in Virtual Screening ". Workshop on Deep Learning and Representation Learning ( NIPS2014 ). ↑ Unterthiner, T. ; Mayr, A. ; Klambauer, G. ; & Hochreiter, S. ( 2015 ) " Toxicity Prediction using Deep Learning ". ArXiv, 2015. ↑ Ramsundar, B. ; Kearnes, S. ; Riley, P. ; Webster, D. ; Konerding, D. ; & Pande, V. ( 2015 ) " Massively Multitask Networks for Drug Discovery ". ArXiv, 2015. ↑ Tkachenko, Yegor. Autonomous CRM Control via CLV Approximation with Deep Reinforcement Learning in Discrete and Continuous Action Space. ( April 8, 2015 ). arXiv. org : ↑ J. Elman, et al..,
복잡한 데이터를 모델링할 수 있게 해준다. [ 15 ] 이전의 심층 신경망들은 보통 앞먹임 신경망으로 설계되어 왔지만, 최근의 연구들은 심층 학습 구조들을 순환 신경망 ( Recurrent Neural Network, RNN ) 에 성공적으로 적용했다. 일례로 언어 모델링 ( language modeling ) 분야에 심층 신경망 구조를 적용한 사례 등이 있다 [ 18 ] 합성곱 신경망 ( Convolutional Neural Network, CNN ) 의 경우에는 컴퓨터 비전 ( computer vision ) 분야에서 잘 적용되었을 뿐만 아니라, 각각의 성공적인 적용 사례에 대한 문서화 또한 잘 되어 있다. [ 19 ] 더욱 최근에는 합성곱 신경망이 자동음성인식 ( Automatic Speech Recognition, ASR ) 을 위한 음향 모델링 ( acoustic modeling ) 분야에 적용되었으며, 기존의 모델들보다 더욱 성공적으로 적용되었다는 평가를 받고 있다. [ 20 ] 심층 신경망은 표준 오류역전파 알고리즘으로 학습될 수 있다. 이때, 가중치 ( weight ) 들은 아래의 등식을 이용한 확률적 경사 하강법 ( stochastic gradient descent ) 을 통하여 갱신될 수 있다. [UNK] w i j ( t 1 )
일반적인 인공 신경망 계층들로 이루어져 있으며, 가중치와 통합 계층 ( pooling layer ) 들을 추가로 활용한다. 이러한 구조 덕분에 CNN은 2차원 구조의 입력 데이터를 충분히 활용할 수 있다. 다른 딥 러닝 구조들과 비교해서, CNN은 영상, 음성 분야 모두에서 좋은 성능을 보여준다. CNN은 또한 표준 역전달을 통해 훈련될 수 있다. CNN은 다른 피드포워드 인공신경망 기법들보다 쉽게 훈련되는 편이고 적은 수의 매개변수를 사용한다는 이점이 있다. 최근 딥 러닝에서는 합성곱 심층 신뢰 신경망 ( Convolutional Deep Belief Network, CDBN ) 가 개발되었는데, 기존 CNN과 구조적으로 매우 비슷해서, 그림의 2차원 구조를 잘 이용할 수 있으며 그와 동시에 심층 신뢰 신경망 ( Deep Belief Network, DBN ) 에서의 선훈련에 의한 장점도 취할 수 있다. CDBN은 다양한 영상과 신호 처리 기법에 사용될 수 있는 일반적인 구조를 제공하며 CIFAR [ 25 ] 와 같은 표준 이미지 데이터에 대한 여러 벤치마크 결과에 사용되고 있다. 순환 신경망 ( Recurrent Neural Network, RNN ) [ 편집 ] 순환 인공 신경망 문서를 참고하십시오. 순환 신경
ep Reinforcement Learning in Discrete and Continuous Action Space. ( April 8, 2015 ). arXiv. org : ↑ J. Elman, et al.., " Rethinking Innateness, " 1996. ↑ J. Shrager, MH Johnson., " Dynamic plasticity influences the emergence of function in a simple cortical array, " Neural Networks, 9 ( 7 ), pp. 1119 - 1129, 1996 ↑ SR Quartz and TJ Sejnowski., " The neural basis of cognitive development : A constructivist manifesto, " Behavioral and Brain Sciences, 20 ( 4 ), pp. 537 - 556, 1997. ↑ S. Blakeslee., " In brain's early growth, timetable may be critical, " The New York Times, Science Section, pp. B5 - B6, 1995. ↑ { BUFILL } E. Bufill, J. Agusti, R. Blesa., " Human neoteny revisited :
47 ] [ 48 ], 2014년 Sepp Hochreiter의 팀은 예상치 못한 다른 작용을 사전에 탐지하기 위해 딥 러닝을 활용하여 " Tox21 Data Challenge " 에서 우승하였다. [ 49 ] [ 50 ] 이러한 성공은 딥 러닝이 약학에 있어 가상 실험 방법 ( Virtual Screening Method ) 에 적합함을 보여준다. [ 51 ] [ 52 ] 현재 많은 수의 연구자들이 여러가지 데이터를 조합하여 약물을 발견하는 데에 딥 러닝을 활용하고 있다. [ 53 ] 고객 관계 관리 [ 편집 ] 최근 직접 마케팅 기획, 고객 관계 관리 자동화를 위한 수단 적합성 산출 등에 직접적으로 심층 강화 학습을 활용하여 성공하는 사례들이 알려지고 있다. 인공 신경망은 RFM으로 정의된 고객들에 대한 활용 가능한 마케팅 활동의 값을 예측할 때 사용되었다. 예측된 함수는 고객 생명 주기 값 ( customer lifetime value, CLV ) 으로 변환되어 사용되었다. [ 54 ] 딥 러닝과 인간 두뇌 [ 편집 ] 딥 러닝은 인지신경과학자 ( Cognitive neuroscientist ) 들이 1990년대 초에 제안한 뇌 발달 ( Brain development ) 과 밀접한 관련이 있다. [ 55 ] [ 56 ] [ 57 ] 이러
인식기가 완성 된다. 딥 러닝의 부활 이후 다양한 분야, 특히 자동 음성 인식 ( ASR, automatic speech recognition ) 과 컴퓨터비전 분야에서 최고수준의 성능을 보여주고 있으며 이들은 보통 딥 러닝의 새로운 응용들의 지속적인 성능 향상을 위해 만들어진 TIMIT ( Texas Instruments와 MIT가 제작한 음성 Database ), MNIST ( 이미지 클러스터링을 위한 hand - written 숫자 이미지 데이터베이스로 National Institute of Standards and Technology가 제작 ) 등의 데이터베이스를 사용했다. 최근에는 Convolution Neural Networks 기반의 딥 러닝 알고리즘이 뛰어난 성능을 발휘하고 있으며, 컴퓨터비전과 음성인식등의 분야에서 특히 탁월한 성능을 보이고 있다. 알고리즘 [ 편집 ] 다양한 종류의 심층 신경망 구조가 존재하지만, 대부분의 경우 대표적인 몇 가지 구조들에서 파생된 것이다. 그렇지만 여러 종류의 구조들의 성능을 동시에 비교하는 것이 항상 가능한 것은 아닌데, 그 이유는 특정 구조들의 경우 주어진 데이터 집합에 적합하도록 구현되지 않은 경우도 있기 때문이다. 심층 신경망 ( Deep Neural Network, DNN ) [ 편집 ] 심층 신경망 ( Deep Neural Network, DNN ) 은 입력층 (
심층 학습(深層學習) 또는 딥 러닝(영어: deep structured learning, deep learning 또는 hierarchical learning)은 여러 '비선형 변환기법'의 조합을 통해 높은 수준의 추상화(abstractions, 다량의 데이터나 복잡한 자료들 속에서 핵심적인 내용 또는 기능을 요약하는 작업)를 시도하는 기계 학습 알고리즘의 집합으로 정의되며, 큰 틀에서 사람의 사고방식을 컴퓨터에게 가르치는 기계학습의 한 분야라고 이야기할 수 있다. 어떠한 데이터가 있을 때 이를 컴퓨터가 알아 들을 수 있는 형태(예를 들어 이미지의 경우는 픽셀정보를 열벡터로 표현하는 등)로 표현(representation)하고 이를 학습에 적용하기 위해 많은 연구(어떻게 하면 더 좋은 표현기법을 만들고 또 어떻게 이것들을 학습할 모델을 만들지에 대한)가 진행되고 있으며, 이러한 노력의 결과로 deep neural networks, convolutional deep neural networks, deep belief networks와 같은 다양한 딥 러닝 기법들이 컴퓨터 비전, 음성인식, 자연어 처리, 음성/신호처리 등 최첨단 분야에 적용되고 있다. 2012년 스탠포드대학의 앤드류 응과 구글이 함께한 딥 러닝 프로젝트에서는 16,000개의 컴퓨터 프로세서와 10억 개 이상의 neural networks 그리고 DNN(deep neural networks)을 이용하여 유튜브에 업로드 되어 있는 천만 개 넘는 비디오 중 고양이 인식에 성공하였다. 이 소프트웨어 프레임워크를 논문에서는 DistBelief로 언급하고 있다. 이뿐만 아니라 마이크로소프트, 페이스북 등도 연구팀을 인수하거나 자체 개발팀을 운영하면서 인상적인 업적들을 만들어 내고 있다.