<commit_before>## 功能特性

### v1.5.1

原始版本

### v1.5.2

* distinct 默认精准度40000,先采用ES默认值,可以通过第二个参数控制精确度
* select 字段可以设置别名,但是要ES 开启groovy 脚本支持
* select 带函数的字段,可以支持别名,但是要ES 开启groovy 脚本支持
* 调整Pom文件,支持profile,方便本地调试和打包<commit_msg>add features<commit_after>## 功能特性

### v1.5.1

原始版本

### v1.5.2

下面大多数特性都需要ES 开启groovy 脚本支持:

* distinct 默认精准度40000,先采用ES默认值,可以通过第二个参数控制精确度
* select 字段可以设置别名
* select 带函数的字段,可以支持别名
* groupby 字段可以支持函数
* 调整Pom文件,支持profile,方便本地调试和打包
{'fraction_non_alphanumeric': 0.11529933481152993, 'fraction_numerical': 0.04878048780487805, 'mean_word_length': 6.174603174603175, 'pattern_counts': {'":': 0, '<': 3, '<?xml version=': 0, '>': 3, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '755054', 'n_tokens_mistral': 328, 'n_tokens_neox': 366, 'n_words': 33}