<commit_before>## mmseg4j-solr

mmseg4j for lucene or solr


```xml
<fieldtype name="textComplex" class="solr.TextField" positionIncrementGap="100">
	<analyzer>
		<tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="complex" dicPath="dic"/>
	</analyzer>
</fieldtype>
<fieldtype name="textMaxWord" class="solr.TextField" positionIncrementGap="100">
	<analyzer>
		<tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="max-word" />
	</analyzer>
</fieldtype>
<fieldtype name="textSimple" class="solr.TextField" positionIncrementGap="100">
	<analyzer>
		<tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="simple" dicPath="n:/custom/path/to/my_dic" />
	</analyzer>
</fieldtype>
```

tokenizer 的参数：
 * dicPath 参数 － 设置自定义的扩展词库，支持相对路径(相对于 solr_home).
 * mode 参数 － 分词模式。

版本

* mmseg4j-solr-2.0.0.jar 要求 lucene/solr >= 4.3.0。在 lucene/solr [4.3.0, 4.7.1] 测试过兼容可用。
* mmseg4j-solr-2.1.0.jar 要求 lucene/solr 4.8.x
* mmseg4j-solr-2.2.0.jar 要求 lucene/solr [4.9, 4.10.x]

## download

[mmseg4j-solr](http://pan.baidu.com/s/1dD7qMFf)

## wiki

[wiki](https://github.com/chenlb/mmseg4j-solr/wiki)<commit_msg>readme 加入 lucene/solr 5.0 兼容与支持<commit_after>## mmseg4j-solr

mmseg4j for lucene or solr


```xml
<fieldtype name="textComplex" class="solr.TextField" positionIncrementGap="100">
	<analyzer>
		<tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="complex" dicPath="dic"/>
	</analyzer>
</fieldtype>
<fieldtype name="textMaxWord" class="solr.TextField" positionIncrementGap="100">
	<analyzer>
		<tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="max-word" />
	</analyzer>
</fieldtype>
<fieldtype name="textSimple" class="solr.TextField" positionIncrementGap="100">
	<analyzer>
		<tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="simple" dicPath="n:/custom/path/to/my_dic" />
	</analyzer>
</fieldtype>
```

tokenizer 的参数：
 * dicPath 参数 － 设置自定义的扩展词库，支持相对路径(相对于 solr_home).
 * mode 参数 － 分词模式。

版本

* mmseg4j-solr-2.0.0.jar 要求 lucene/solr >= 4.3.0。在 lucene/solr [4.3.0, 4.7.1] 测试过兼容可用。
* mmseg4j-solr-2.1.0.jar 要求 lucene/solr 4.8.x
* mmseg4j-solr-2.2.0.jar 要求 lucene/solr [4.9, 4.10.x]
* mmseg4j-solr-2.3.0.jar 要求 lucene/solr [5.0, ]

## download

[mmseg4j-solr](http://pan.baidu.com/s/1dD7qMFf)

## wiki

[wiki](https://github.com/chenlb/mmseg4j-solr/wiki)
{'fraction_non_alphanumeric': 0.17899659863945577, 'fraction_numerical': 0.04251700680272109, 'mean_word_length': 5.127604166666667, 'pattern_counts': {'":': 0, '<': 33, '<?xml version=': 0, '>': 35, 'https://': 2, 'lorem ipsum': 0, 'www.': 0, 'xml': 2}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 2, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '1705521', 'n_tokens_mistral': 1143, 'n_tokens_neox': 1135, 'n_words': 149}