<commit_before># mecab-ko-lucene-analyzer

## 소개

[mecab-ko-lucene-analyzer](https://github.com/bibreen/mecab-ko-lucene-analyzer)는 [mecab-ko-dic](https://bitbucket.org/bibreen/mecab-ko-dic/src)을 사용한 lucene/solr용 한국어 형태소분석기입니다.

다음과 같은 기능들을 제공합니다.
  - 명사추출
  - 합성명사 분해
  - 원어절 추출

## 특징
  - '무궁화꽃이피었습니다.'와 같이 띄어 쓰기가 잘못된 오류를 교정하여 형태소 분석이 가능합니다.
  - Standard[Index|Query]Tokenizer의 경우, 명사뿐 아니라 품사가 결합된 어절도 Token으로 뽑아냅니다.
    철수가 학교에 간다. -> 철수가, 철수, 학교에, 학교, 간다
  - 문장의 끝에 문장의 끝을 알리는 기호 "`.!?`"가 있으면 더 자연스럽게 형태소 분석이 됩니다.
  - Apache Lucene/Solr 4.0 버전 기준으로 작성되었습니다.

## 설치

### Mecab 설치

[여기 (MeCab-0.994)](http://code.google.com/p/mecab/downloads/detail?name=mecab-0.994.tar.gz&can=1&q=) 에서 MeCab의 소스를 다운 받고 설치합니다.

    $ tar zxfv mecab-XX.tar.gz
    $ cd mecab-XX
    $ ./configure 
    $ make
    $ make check
    $ su
    # make install

MeCab 설치의 자세한 내용은 [MeCab 홈페이지](http://mecab.googlecode.com/svn/trunk/mecab/doc/index.html)를 참조하시기 바랍니다.

### libMeCab.so 설치

[mecab-java-XX.tar.gz](http://code.google.com/p/mecab/downloads/list) 를 다운받아 설치합니다. \(주의: Makefile에서 INCLUDE 값을 자신의 환경에 맞게 변경해야 합니다.\)

    $ tar zxvf mecab-java-XX.tar.gz
    $ mv mecab-java-XX.tar.gz mecab-XX/java
    $ cd mecab-XX/java
    $ make
    $ cp MeCab.jar [solr 라이브러리 디렉터리]
    $ su
    # cp libMeCab.so /usr/local/lib<commit_msg>* 수정: README.md 내용 수정<commit_after># mecab-ko-lucene-analyzer

## 소개

[mecab-ko-lucene-analyzer](https://github.com/bibreen/mecab-ko-lucene-analyzer)는 [mecab-ko-dic](https://bitbucket.org/bibreen/mecab-ko-dic/src)을 사용한 lucene/solr용 한국어 형태소분석기입니다.

다음과 같은 기능들을 제공합니다.
  - 명사추출
  - 합성명사 분해
  - 원어절 추출

## 특징
  - '무궁화꽃이피었습니다.'와 같이 띄어 쓰기가 잘못된 오류를 교정하여 형태소 분석이 가능합니다.
  - Standard[Index|Query]Tokenizer의 경우, 명사뿐 아니라 품사가 결합된 어절도 Token으로 뽑아냅니다.
    철수가 학교에 간다. -> 철수가, 철수, 학교에, 학교, 간다
  - 문장의 끝에 문장의 끝을 알리는 기호 "`.!?`"가 있으면 더 자연스럽게 형태소 분석이 됩니다.
  - Apache Lucene/Solr 4.0 버전 기준으로 작성되었습니다.

## 설치

### Mecab 설치

[여기 (MeCab-0.994)](http://code.google.com/p/mecab/downloads/detail?name=mecab-0.994.tar.gz&can=1&q=) 에서 MeCab의 소스를 다운 받고 설치합니다.

    $ tar zxfv mecab-XX.tar.gz
    $ cd mecab-XX
    $ ./configure 
    $ make
    $ make check
    $ su
    # make install

MeCab 설치의 자세한 내용은 [MeCab 홈페이지](http://mecab.googlecode.com/svn/trunk/mecab/doc/index.html)를 참조하시기 바랍니다.

### MeCab.jar와 libMeCab.so 설치

[mecab-java-XX.tar.gz](http://code.google.com/p/mecab/downloads/list) 를 다운받아 설치합니다. \(주의: Makefile에서 INCLUDE 값을 자신의 환경에 맞게 변경해야 합니다.\)

    $ tar zxvf mecab-java-XX.tar.gz
    $ mv mecab-java-XX.tar.gz mecab-XX/java
    $ cd mecab-XX/java
    $ make
    $ cp MeCab.jar [solr 라이브러리 디렉터리]
    $ su
    # cp libMeCab.so /usr/local/lib
{'fraction_non_alphanumeric': 0.1498668695321415, 'fraction_numerical': 0.008368200836820083, 'mean_word_length': 2.693820224719101, 'pattern_counts': {'":': 0, '<': 3, '<?xml version=': 0, '>': 5, 'https://': 4, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 4, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '1234258', 'n_tokens_mistral': 1717, 'n_tokens_neox': 2014, 'n_words': 262}