<commit_before># Demeter
a magic spider which using ml to control actions on fetching html information
# 得墨忒耳：收获女神
利用各个节点机器访问目标网站所存留的相关特征信息，采用决策树的算法，对分布式爬虫架构进行设计和开发
集成爬虫＋spark ＋ 搜索引擎的相关产品，欢迎各位Followers<commit_msg>add info to README.me<commit_after># Demeter
a magic spider which using ml to control actions on fetching html information
# 得墨忒耳：收获女神
利用各个节点机器访问目标网站所存留的相关特征信息，采用决策树的算法，对分布式爬虫架构进行设计和开发,提交爬虫任务和爬取信息脚本后，自动调节节点的状态，进行持续的，有优先级特性的，集成爬虫＋spark＋搜索引擎的相关产品，欢迎各位Followers
{'fraction_non_alphanumeric': 0.059447983014861996, 'fraction_numerical': 0.0, 'mean_word_length': 10.238095238095237, 'pattern_counts': {'":': 0, '<': 3, '<?xml version=': 0, '>': 3, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '6754382', 'n_tokens_mistral': 322, 'n_tokens_neox': 354, 'n_words': 38}