In recent years, convolutional neural networks (CNNs)1 have exhibited remarkable power in natural language processing (NLP) tasks, such as semantic parsing,2,3 search query retrieval,4 and text
Computational Intelligence. 2019;1–11. wileyonlinelibrary.com/journal/coin © 2019 Wiley Periodicals, Inc. 1
2 JIN ET AL.
classification.5,6 In particular, CNN offers a relatively simple means of modeling embeddings of
text, with the ability to achieve excellent results.5 Conventionally, CNNs dealing with text classification tasks have been based on the word level, where words are represented as dense vectors.7-9
While word-level modeling is intuitive and consistent with our understanding of language, some
recent works10-12 have demonstrated that CNNs can be applied directly to the character level for
text classification, achieving competitive results. An advantage of this type of approaches is that
word knowledge or representations are not required, making it much more flexible for different
languages; in addition, abnormal words caused by misspelling can be learned. However, the effectiveness of different representations of text is limited in the selected task and there is a lack of
clear, practical guidance on some aspects of their use. These include choosing a proper level of
embedding for a specific NLP task, recognizing when the model needs external information, and
switching word semantics from one domain to another when appropriate.
Motivated by recent advances in CNN-based text embedding11 and the attention architecture,13
we built a multi-representational CNN (Mr-CNN) model for text classification, by constructing
multiple planes so that multiple information can be dumped into the networks. We speculate that
specific parts of text play an important role in classification tasks, ie, different classification purposes appear to be more associated with particular level of text embedding, semantic segments,
and contexts. For example, a classification system that aims to determine whether a text belongs
to an economy-related or computer-related class is more affected by nouns in the text, while an
event classification system is more likely to be affected by verbs. The Stanford named entity recognizer (NER) is a tool for tagging semantic roles of things in text, such as person, company, gene,
and disease. The part-of-speech (POS) tagger is another technique that assigns part of speech tags
to each block of text, such as noun or verb. In this study, we use these two tools to preprocess the
sentences of each dataset in order to obtain several subsets of the original full sentence, where
each subset includes words of a certain part of text. Then, we use these subsets together with
the full sentence as multiple representations for the Mr-CNN model. Moreover, Mr-CNNs can do
something much more interesting. They may use multiple planes to encode external knowledge
about the task at hand, may combine character-level with word-level embeddings, etc.
Through experiments on various large-scale, domain-specific datasets, we observed at maximum 13% error rate improvement over any single-representational CNN model on the DBpedia
and at maximum 8% on the PubMed dataset, which confirms our hypothesis that multiple representations of text allow the network adaptively focus attention to the most relevant information.
The main contributions of this paper are fourfold.
• A multi-representational architecture is proposed as the simulation of human's multi-views of
a thing, and a detailed motivation and discussion of this model is given in this work.
• We combine this architecture with CNNs to enable parallel processing of text, in which the
convolution kernel acts as attention.
• We construct the PubMed, a biomedical event classification dataset containing 4 790 000
sentences from Medline abstracts with nine events.
• Various tasks analyzed show that Mr-CNNs are able to learn to focus attention to specific representations of text, obtaining further gains in performance over state-of-the-art deep neural
network models

Do you understand whats written here?
최근 몇 년 동안 컨볼루션 신경망(CNN)1은 의미론적 구문 분석,2,3 검색 쿼리 검색,4 및 텍스트와 같은 자연어 처리(NLP) 작업에서 놀라운 성능을 보여주었습니다.
컴퓨터 지능. 2019;1-11. wileyonlinelibrary.com/journal/coin © 2019 Wiley Periodicals, Inc. 1
2 JIN ET AL.
분류.5,6 특히, CNN은 비교적 간단한 임베딩 모델링 수단을 제공합니다.
텍스트의 임베딩을 모델링하는 비교적 간단한 수단을 제공하며, 우수한 결과를 얻을 수 있습니다.5 전통적으로 텍스트 분류 작업을 처리하는 CNN은 단어가 밀집된 벡터로 표현되는 단어 수준을 기반으로 했습니다.7-9
단어 수준 모델링은 직관적이고 언어에 대한 우리의 이해와 일치하지만 일부
최근의 연구10-12는 CNN이 문자 수준에 직접 적용될 수 있음을 입증했습니다.
텍스트 분류에 직접 적용하여 경쟁력 있는 결과를 얻을 수 있음을 입증했습니다. 이러한 접근 방식의 장점은 다음과 같습니다.
단어 지식이나 표현이 필요하지 않으므로 다양한 언어에 훨씬 더 유연하게 적용할 수 있다는 것입니다.
언어; 또한 맞춤법 오류로 인한 비정상적인 단어도 학습할 수 있습니다. 그러나 선택한 작업에서 다양한 텍스트 표현의 효과는 제한적이며, 일부 측면에 대한
사용의 일부 측면에 대한 명확하고 실용적인 지침이 부족합니다. 여기에는 적절한 수준의
임베딩, 모델에 외부 정보가 필요한 시점을 인식하는 것, 그리고
적절한 경우 한 도메인에서 다른 도메인으로 단어 의미 전환하기 등이 포함됩니다.
최근 CNN 기반 텍스트 임베딩11과 주의 아키텍처13의 발전에서 영감을 얻어
저희는 텍스트 분류를 위한 다중 표현 CNN(Mr-CNN) 모델을 구축했습니다.
여러 개의 평면을 구성하여 여러 정보를 네트워크에 덤프할 수 있도록 했습니다. 우리는 다음과 같이 추측합니다.
텍스트의 특정 부분이 분류 작업에서 중요한 역할을 합니다. 즉, 분류 목적에 따라 특정 수준의 텍스트 포함, 의미 세그먼트 및 문맥과 더 관련이 있는 것으로 보입니다,
그리고 문맥. 예를 들어, 텍스트가 경제 관련 분류에 속하는지 아니면 컴퓨터 관련 분류에 속하는지
경제 관련 또는 컴퓨터 관련 분류는 텍스트의 명사에 더 많은 영향을 받는 반면, 이벤트 분류는
이벤트 분류 시스템은 동사의 영향을 더 많이 받습니다. 스탠퍼드 명명 엔티티 인식기(NER)는 사람, 회사, 유전자, 질병 등 텍스트에서 사물의 의미론적 역할에 태그를 붙이는 도구입니다,
그리고 질병. 품사(POS) 태거는 품사 태그를 할당하는 또 다른 기술입니다.
를 각 텍스트 블록에 할당하는 또 다른 기술입니다. 이 연구에서는 이 두 가지 도구를 사용해 각 데이터 세트의 문장을
원래 전체 문장의 여러 하위 집합을 얻기 위해 각 데이터 세트의 문장을 전처리합니다.
각 하위 집합은 텍스트의 특정 부분의 단어를 포함합니다. 그런 다음, 이러한 하위 집합을 전체 문장과 함께
전체 문장을 Mr-CNN 모델에 대한 여러 표현으로 사용합니다. 뿐만 아니라, Mr-CNN은
훨씬 더 흥미로운 일을 할 수 있습니다. 여러 평면을 사용하여 외부 지식을 인코딩할 수 있습니다.
외부 지식을 인코딩하고, 문자 수준과 단어 수준의 임베딩을 결합하는 등의 작업을 수행할 수 있습니다.
다양한 대규모 도메인별 데이터 세트에 대한 실험을 통해 단일 표현 CNN 모델에 비해 최대 13%의 오류율 개선을 관찰했습니다.
에서 최대 13%, PubMed 데이터 세트에서 최대 8%의 오류율 개선을 관찰했으며, 이는 텍스트의 다중 표현을 통해 네트워크가 가장 관련성이 높은 정보에 적응적으로 주의를 집중할 수 있다는 가설을 확인했습니다.
이 논문의 주요 기여는 크게 네 가지입니다.
- 인간의 다중 시각을 시뮬레이션하기 위한 다중 표상 아키텍처가 제안되었습니다.
사물에 대한 다중 표현 아키텍처를 제안하고, 이 모델에 대한 자세한 동기와 논의가 이 논문에서 제공됩니다.
- 우리는 이 아키텍처를 CNN과 결합하여 텍스트의 병렬 처리를 가능하게 합니다.
컨볼루션 커널이 주의 역할을 합니다.
- 우리는 Medline 초록에서 4,790,000개의 문장을 포함하는 생의학 사건 분류 데이터 세트인
문장과 9개의 이벤트가 포함된 생물 의학 이벤트 분류 데이터 세트인 PubMed를 구축합니다.
- 다양한 작업을 분석한 결과, Mr-CNN은 텍스트의 특정 표현에 주의를 집중하는 방법을 학습할 수 있으며, 최첨단 심층 신경
네트워크 모델

여기에 쓰여진 내용을 이해하셨나요?