##ter, D. ; Konerding, D. ; & Pande, V. ( 2015 ) " Massively Multitask Networks for Drug Discovery ". ArXiv, 2015. ↑ Tkachenko, Yegor. Autonomous CRM Control via CLV Approximation with Deep Reinforcement Learning in Discrete and Continuous Action Space. ( April 8, 2015 ). arXiv. org : ↑ J. Elman, et al.., " Rethinking Innateness, " 1996. ↑ J. Shrager, MH Johnson., " Dynamic plasticity influences the emergence of function in a simple cortical array, " Neural Networks, 9 ( 7 ), pp. 1119 - 1129, 1996 ↑ SR Quartz and TJ Sejnowski., " The neural basis of cognitive development : A constructivist manifesto, " Behavioral and Brain Sciences, 20 ( 4 ), pp. 537 - 556, 1997. ↑ S. Blakesle
##lator ", Wire, Dec. 2014. ↑ Hannun et al. ( 2014 ) " Deep Speech : Scaling up end - to - end speech recognition ", arXiv : 1412. 5567. ↑ Ron Schneiderman ( 2015 ) " Accuracy, Apps Advance Speech Recognition - - - Interview with Vlad Sejnoha and Li Deng ", IEEE Signal Processing Magazine, Jan, 2015. ↑ D. Ciresan, U. Meier, J. Schmidhuber., " Multi - column Deep Neural Networks for Image Classification, " Technical Report No. IDSIA - 04 - 12 ', 2012. ↑ Vinyals et al. ( 2014 ). " Show and Tell : A Neural Image Caption Generator, " arXiv : 1411. 4555. ↑ Fang et al. ( 2014 ). " From Captions to Visual Concepts and Back, " arXiv : 1411. 4952. ↑ Kiros et al. ( 2014 ). " Unifying Visual - Semantic Embeddings with
CNN은 2차원 구조의 입력 데이터를 충분히 활용할 수 있다. 다른 딥 러닝 구조들과 비교해서, CNN은 영상, 음성 분야 모두에서 좋은 성능을 보여준다. CNN은 또한 표준 역전달을 통해 훈련될 수 있다. CNN은 다른 피드포워드 인공신경망 기법들보다 쉽게 훈련되는 편이고 적은 수의 매개변수를 사용한다는 이점이 있다. 최근 딥 러닝에서는 합성곱 심층 신뢰 신경망 ( Convolutional Deep Belief Network, CDBN ) 가 개발되었는데, 기존 CNN과 구조적으로 매우 비슷해서, 그림의 2차원 구조를 잘 이용할 수 있으며 그와 동시에 심층 신뢰 신경망 ( Deep Belief Network, DBN ) 에서의 선훈련에 의한 장점도 취할 수 있다. CDBN은 다양한 영상과 신호 처리 기법에 사용될 수 있는 일반적인 구조를 제공하며 CIFAR [ 25 ] 와 같은 표준 이미지 데이터에 대한 여러 벤치마크 결과에 사용되고 있다. 순환 신경망 ( Recurrent Neural Network, RNN ) [ 편집 ] 순환 인공 신경망 문서를 참고하십시오. 순환 신경망은 인공신경망을 구성하는 유닛 사이의 연결이 Directed cycle을 구성하는 신경망을 말한다. 순환 신경망은 앞
" ArXiv, 2014. ↑ " Toxicology in the 21st century Data Challenge " ↑ " NCATS Announces Tox21 Data Challenge Winners " Archived 2015년 2월 28일 - 웨이백 머신 ↑ Unterthiner, T. ; Mayr, A. ; Klambauer, G. ; Steijaert, M. ; Ceulemans, H. ; Wegner, J. K. ; & Hochreiter, S. ( 2014 ) " Deep Learning as an Opportunity in Virtual Screening ". Workshop on Deep Learning and Representation Learning ( NIPS2014 ). ↑ Unterthiner, T. ; Mayr, A. ; Klambauer, G. ; & Hochreiter, S. ( 2015 ) " Toxicity Prediction using Deep Learning ". ArXiv, 2015. ↑ Ramsundar, B. ; Kearnes, S. ; Riley, P. ; Webster, D. ; Konerding, D. ; & Pande, V. ( 2015 ) " Massively M
발산하는 문제, 트레이닝셋에 너무 가깝게 맞추어 학습되는 과적합 ( Overfitting ) 문제, 원론적으로 생물학적 신경망과는 다르다는 이슈들이 끊임 없이 제기되면서 인공신경망은 관심에서 멀어졌고 90년대와 2000년대에는 서포트 벡터 머신 같은 기법들이 각광받게 된다. 본격적으로 딥 러닝이란 용어를 사용한 것은 2000년대 딥 러닝의 중흥기를 이끌어간다고 평가할 수 있는 제프리 힌튼 [ 12 ] 과 Ruslan Salakhutdinov에 의해서이며, 기존 신경망의 과적합 문제를 해결하기 위해 이들은 unsupervised RBM ( restricted Boltzmann machine ) 을 통해 학습시킬 앞먹임 신경망 ( Feedforward Neural Network ) 의 각 층을 효과적으로 사전훈련 ( pre - trainning ) 하여 과적합을 방지할 수 있는 수준의 initialize point를 잡았고, 이를 다시 supervised backpropagation를 사용 [ 13 ] 하는 형태로 학습을 진행한다. 또한 2013년에는 신호처리학회인 ICASSP에서 RBM을 대체하여 과적합을 방지할 수 있는 Drop - out [ 14 ] 이라는 개념이 소개되면서
##i, S. Fernandez, R. Bertolami, H. Bunke, J. Schmidhuber. A Novel Connectionist System for Improved Unconstrained Handwriting Recognition. IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 31, no. 5, 2009. ↑ Mnih, Volodymyr et al. ( 2015 ). " Human - level control through deep reinforcement learning " ( PDF ) 518. pp. 529 - 533. ↑ TIMIT Acoustic - Phonetic Continuous Speech Corpus Linguistic Data Consortium, Philadelphia. ↑ Deng, L. ; Hinton, G. ; Kingsbury, B. ( 2013 ). " New types of deep neural network learning for speech recognition and related applications : An overview ( ICASSP ) ". ↑ NIPS Workshop : Deep Learning for Speech Recognition and Related Applications, Whistler, BC, Canada, Dec.
##ning and Unsupervised Feature Learning. ↑ Deng L., Li, J., Huang, J., Yao, K., Yu, D., Seide, F. et al. Recent Advances in Deep Learning for Speech Research at Microsoft. ICASSP, 2013. ↑ Yu, D. ; Deng, L. ( 2014 ). " Automatic Speech Recognition : A Deep Learning Approach ( Publisher : Springer ) ". ↑ Deng, L. ; Li, Xiao ( 2013 ). " Machine Learning Paradigms for Speech Recognition : An Overview ". IEEE Transactions on Audio, Speech, and Language Processing. ↑ L. Deng and D. Yu ( 2014 ) " Deep Learning : Methods and Applications " ↑ McMillan, R. " How Skype Used AI to Build Its Amazing New Language Translator ", Wire, Dec. 2014. ↑ Hannun et al. ( 2014 ) " Deep Speech : Scal
구현 / / / 인공지능과 딥러닝 빅데이터 안고 부활하다 상상 속 기계가 스스로 학습 기계로 폭넓은 관심과 남다른 통찰로 딥러닝 시대 열어 원본 주소 " " 분류 : 딥 러닝기계 학습신경망인공신경망숨은 분류 : CS1 관리 - et al. 의 직접적인 사용인용 오류 - URL 없이 확인날짜를 사용함영어 표기를 포함한 문서 둘러보기 메뉴 개인 도구 로그인하지 않음토론기여계정 만들기로그인 이름공간 문서토론 변수 보기 읽기편집역사 보기 더 보기 검색 둘러보기 대문사용자 모임요즘 화제최근 문서 보기임의 문서로도움말기부 도구 여기를 가리키는 문서가리키는 글의 최근 올리기특수 문서 목록고유 링크문서 정보위키데이터 항목이 문서 인용하기 다른 프로젝트 공용 인쇄 / 내보내기 책 만들기PDF로 다운로드인쇄용 판 다른 언어 IndonesiaItaliano 日 本 語 / 中 文 - - 링크 편집 이 문서는 2019년 7월 4일 ( 목 ) 02 : 40에 마지막으로 편집되었습니다. 모든 문서는 크리에이티브 커먼즈 저작자표시 - 동일조건변경허락 3. 0에 따라 사용할 수 있으며, 추가적인 조건이 적용될 수 있
New Perspectives, " IEEE Trans. PAMI, special issue Learning Deep Architectures, 2013 ↑ 가 나 J. Schmidhuber, " Deep Learning in Neural Networks : An Overview ", 2014 ↑ Szegedy, Christian, Alexander Toshev, and Dumitru Erhan. " Deep neural networks for object detection. " Advances in Neural Information Processing Systems. 2013. ↑ T. Mikolov et al., " Recurrent neural network based language model, " Interspeech, 2010. ↑ LeCun, Y. ; 외. " Gradient - based learning applied to document recognition ". 《 Proceedings of the IEEE 》 86 ( 11 ) : 2278 - 2324. doi : 10. 1109 / 5. 726791. CS1 관리 - et al. 의 직접적인 사용 ( 링크 ) ↑ T. Sainath et al., " Convolutional neural networks for LVCSR, " ICASSP, 2013. ↑ G. E. Hinton et al.
요소들의 계층적 구성으로 표현될 수 있다. [ 17 ] 이때, 추가 계층들은 점진적으로 모여진 하위 계층들의 특징들을 규합시킬 수 있다. 심층 신경망의 이러한 특징은, 비슷하게 수행된 인공신경망에 비해 더 적은 수의 유닛 ( unit, node ) 들 만으로도 복잡한 데이터를 모델링할 수 있게 해준다. [ 15 ] 이전의 심층 신경망들은 보통 앞먹임 신경망으로 설계되어 왔지만, 최근의 연구들은 심층 학습 구조들을 순환 신경망 ( Recurrent Neural Network, RNN ) 에 성공적으로 적용했다. 일례로 언어 모델링 ( language modeling ) 분야에 심층 신경망 구조를 적용한 사례 등이 있다 [ 18 ] 합성곱 신경망 ( Convolutional Neural Network, CNN ) 의 경우에는 컴퓨터 비전 ( computer vision ) 분야에서 잘 적용되었을 뿐만 아니라, 각각의 성공적인 적용 사례에 대한 문서화 또한 잘 되어 있다. [ 19 ] 더욱 최근에는 합성곱 신경망이 자동음성인식 ( Automatic Speech Recognition, ASR ) 을 위한 음향 모델링 ( acoustic modeling ) 분야에 적용되었으며, 기존의 모델들보다 더욱 성공적으로 적용되
심층 학습(深層學習) 또는 딥 러닝(영어: deep structured learning, deep learning 또는 hierarchical learning)은 여러 '비선형 변환기법'의 조합을 통해 높은 수준의 추상화(abstractions, 다량의 데이터나 복잡한 자료들 속에서 핵심적인 내용 또는 기능을 요약하는 작업)를 시도하는 기계 학습 알고리즘의 집합으로 정의되며, 큰 틀에서 사람의 사고방식을 컴퓨터에게 가르치는 기계학습의 한 분야라고 이야기할 수 있다. 어떠한 데이터가 있을 때 이를 컴퓨터가 알아 들을 수 있는 형태(예를 들어 이미지의 경우는 픽셀정보를 열벡터로 표현하는 등)로 표현(representation)하고 이를 학습에 적용하기 위해 많은 연구(어떻게 하면 더 좋은 표현기법을 만들고 또 어떻게 이것들을 학습할 모델을 만들지에 대한)가 진행되고 있으며, 이러한 노력의 결과로 deep neural networks, convolutional deep neural networks, deep belief networks와 같은 다양한 딥 러닝 기법들이 컴퓨터 비전, 음성인식, 자연어 처리, 음성/신호처리 등 최첨단 분야에 적용되고 있다. 2012년 스탠포드대학의 앤드류 응과 구글이 함께한 딥 러닝 프로젝트에서는 16,000개의 컴퓨터 프로세서와 10억 개 이상의 neural networks 그리고 DNN(deep neural networks)을 이용하여 유튜브에 업로드 되어 있는 천만 개 넘는 비디오 중 고양이 인식에 성공하였다. 이 소프트웨어 프레임워크를 논문에서는 DistBelief로 언급하고 있다. 이뿐만 아니라 마이크로소프트, 페이스북 등도 연구팀을 인수하거나 자체 개발팀을 운영하면서 인상적인 업적들을 만들어 내고 있다.