<commit_before>###superword是一个Java实现的英文单词分析软件，主要研究英语单词音近形似转化规律、前缀后缀规律、词之间的相似性规律等等。Clean code、Fluent style、Java8 feature: Lambdas, Streams and Functional-style Programming。

###升学考试、工作求职、充电提高，都少不了英语的身影，英语对我们来说实在太重要了。你还在为记不住英语单词而苦恼吗？还在为看不懂英文资料和原版书籍而伤神吗？superword可以在你英语学习的路上助你一臂之力。

###superword利用计算机强大的计算能力，使用机器学习和数据挖掘算法找到读音相近、外形相似、含义相关、同义反义、词根词缀的英语单词，从而非常有利于我们深入地记忆理解这些单词。

###[192本软件著作用词分析](http://my.oschina.net/apdplat/blog/392496)
###[2000个软件开发领域的高频特殊词及精选例句](http://my.oschina.net/apdplat/blog/389200)
###[英语单词音近形似转化规律研究](http://my.oschina.net/apdplat/blog/378569)
###[986组同义词辨析](http://my.oschina.net/apdplat/blog/392944)
###[3211个词及其反义词](http://my.oschina.net/apdplat/blog/392954)
###[13054个词及其词义数](http://my.oschina.net/apdplat/blog/393278)
###[词组习语3054组](http://my.oschina.net/apdplat/blog/393374)
###[分析996个词根在各大考纲词汇中的作用](http://my.oschina.net/apdplat/blog/391865)
###[分析113个前缀在各大考纲词汇中的作用](http://my.oschina.net/apdplat/blog/392456)
###[分析151个后缀在各大考纲词汇中的作用](http://my.oschina.net/apdplat/blog/392466)
###[分析在各大考纲词汇中既没有词根也没有前缀和后缀的独立单词](http://my.oschina.net/apdplat/blog/392483)
###[分析在各大考纲词汇中同时拥有前缀后缀和词根的词](http://my.oschina.net/apdplat/blog/392490)
###[一个月的时间让你的词汇量翻一翻](http://my.oschina.net/apdplat/blog/379303)
###[英语单词前缀规则总结](http://my.oschina.net/apdplat/blog/378753)
###[英语单词后缀规则总结](http://my.oschina.net/apdplat/blog/379330)
###考虑到爱词霸的防爬虫限制，特提供包含61821个单词的爱词霸HTML页面origin_html.zip文件供下载，[下载地址](http://pan.baidu.com/s/1bnD9gy7)，[解析程序](https://github.com/ysc/superword/blob/master/src/main/java/org/apdplat/superword/tools/WordClassifier.java)
###项目中最重要的素材之一是IT领域中和软件开发相关的249本电子书，大多数书都跟大数据和搜索引擎有关系，因为这是我的研究方向。这些书我打包到了一起并提供下载：[it-software-domain.zip](http://pan.baidu.com/s/1kT1NA3l)<commit_msg>根据76大细分词性对单词进行归组<commit_after>###superword是一个Java实现的英文单词分析软件，主要研究英语单词音近形似转化规律、前缀后缀规律、词之间的相似性规律等等。Clean code、Fluent style、Java8 feature: Lambdas, Streams and Functional-style Programming。

###升学考试、工作求职、充电提高，都少不了英语的身影，英语对我们来说实在太重要了。你还在为记不住英语单词而苦恼吗？还在为看不懂英文资料和原版书籍而伤神吗？superword可以在你英语学习的路上助你一臂之力。

###superword利用计算机强大的计算能力，使用机器学习和数据挖掘算法找到读音相近、外形相似、含义相关、同义反义、词根词缀的英语单词，从而非常有利于我们深入地记忆理解这些单词。

###[192本软件著作用词分析](http://my.oschina.net/apdplat/blog/392496)
###[2000个软件开发领域的高频特殊词及精选例句](http://my.oschina.net/apdplat/blog/389200)
###[英语单词音近形似转化规律研究](http://my.oschina.net/apdplat/blog/378569)
###[986组同义词辨析](http://my.oschina.net/apdplat/blog/392944)
###[3211个词及其反义词](http://my.oschina.net/apdplat/blog/392954)
###[13054个词及其词义数](http://my.oschina.net/apdplat/blog/393278)
###[词组习语3054组](http://my.oschina.net/apdplat/blog/393374)
###[1208个合成词](http://my.oschina.net/apdplat/blog/393724)
###[根据76大细分词性对单词进行归组](http://my.oschina.net/apdplat/blog/393771)
###[分析996个词根在各大考纲词汇中的作用](http://my.oschina.net/apdplat/blog/391865)
###[分析113个前缀在各大考纲词汇中的作用](http://my.oschina.net/apdplat/blog/392456)
###[分析151个后缀在各大考纲词汇中的作用](http://my.oschina.net/apdplat/blog/392466)
###[分析在各大考纲词汇中既没有词根也没有前缀和后缀的独立单词](http://my.oschina.net/apdplat/blog/392483)
###[分析在各大考纲词汇中同时拥有前缀后缀和词根的词](http://my.oschina.net/apdplat/blog/392490)
###[一个月的时间让你的词汇量翻一翻](http://my.oschina.net/apdplat/blog/379303)
###[英语单词前缀规则总结](http://my.oschina.net/apdplat/blog/378753)
###[英语单词后缀规则总结](http://my.oschina.net/apdplat/blog/379330)
###考虑到爱词霸的防爬虫限制，特提供包含61821个单词的爱词霸HTML页面origin_html.zip文件供下载，[下载地址](http://pan.baidu.com/s/1bnD9gy7)，[解析程序](https://github.com/ysc/superword/blob/master/src/main/java/org/apdplat/superword/tools/WordClassifier.java)
###项目中最重要的素材之一是IT领域中和软件开发相关的249本电子书，大多数书都跟大数据和搜索引擎有关系，因为这是我的研究方向。这些书我打包到了一起并提供下载：[it-software-domain.zip](http://pan.baidu.com/s/1kT1NA3l)
{'fraction_non_alphanumeric': 0.19066478076379068, 'fraction_numerical': 0.08316831683168317, 'mean_word_length': 9.01699716713881, 'pattern_counts': {'":': 0, '<': 3, '<?xml version=': 0, '>': 3, 'https://': 2, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '583362', 'n_tokens_mistral': 2462, 'n_tokens_neox': 2689, 'n_words': 57}