<commit_before>
# 搜索服务

## 提供基于多维度的搜索服务

|级联号|任务|备注|节点|
|:---|:---|:---|---|
|0|Elastic Stack安装|见 [./doc/Installation.md](./doc/Installation.md)|-|
|0.1|`system_call_filter`配置|*待刷*||
|0.2|`Kibana`安装与配置|*待刷*||
|1|ES索引数据结构搭建|-|-|
|1.0|ES连接创建、节点分离||2017年7月4日|
|1.1|ES节点连接||2017年7月4日|
|1.2|别名、索引检查||2017年7月5日|
|1.3|别名、索引创建|||
|1.4|ES定时任务|||
|1.6|ES索引数据结构设计|||
|1.7||||
|||||
|2|数据同步逻辑|-|-|
|2.0|Mysql-jdbc连接|||
|2.1|同步时间戳的读写|||
|||||
|||||
|3|日志数据收集与分析|-|-|
|3.0|日志记录器log4js定义|||
|3.1|搜索记录日志格式定义与收集|||
|3.2|搜索记录的filebeat-ELK|||
|3.3|搜索记录的关键词聚合|||
|3.6|反馈记录日志格式定义与收集|||
||||
|4||||<commit_msg>update document<commit_after>
# 搜索服务

## 提供基于多维度的搜索服务

|级联号|任务|备注|节点|
|:---|:---|:---|---|
|0|Elastic Stack安装|见 [./doc/Installation.md](./doc/Installation.md)|-|
|0.1|`system_call_filter`配置|*待刷*||
|0.2|`Kibana`安装与配置|*待刷*||
|0.3|`ElasticSearch` 5.4.3版本安装与运行|-|2017年7月6日|
|0.4|`ElasticSearch-head` 5.x 安装与运行|-|2017年7月6日|
|0.||||
|1|ES索引数据结构搭建|-|-|
|1.0|ES连接创建、节点分离||2017年7月4日|
|1.1|ES节点连接||2017年7月4日|
|1.2|别名、索引检查||2017年7月5日|
|1.3|别名、索引创建|||
|1.4|ES定时任务|||
|1.6|ES索引数据结构设计|||
|1.7||||
|||||
|2|数据同步逻辑|-|-|
|2.0|Mysql-jdbc连接|||
|2.1|同步时间戳的读写|||
|||||
|||||
|3|日志数据收集与分析|-|-|
|3.0|日志记录器log4js定义|||
|3.1|搜索记录日志格式定义与收集|||
|3.2|搜索记录的filebeat-ELK|||
|3.3|搜索记录的关键词聚合|||
|3.6|反馈记录日志格式定义与收集|||
||||
|4||||
{'fraction_non_alphanumeric': 0.33853354134165364, 'fraction_numerical': 0.10374414976599064, 'mean_word_length': 6.248587570621469, 'pattern_counts': {'":': 0, '<': 3, '<?xml version=': 0, '>': 3, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 1, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '1705396', 'n_tokens_mistral': 993, 'n_tokens_neox': 1101, 'n_words': 60}