<commit_before>---
layout: post
title: zsearch代码学习（1）
category: 技术
tags: 搜索引擎
keywords: 
description: 
---

## 搜索引擎整体实现

部门搜索引擎经过几次框架上的重构，框架改了好几版，当前框架较为稳定，并且性能也很好，其中有很多值得学习的地方。整体当前搜索框架如下面所示：

{% img [class names] /public/img/tech/sousuojiagou.png [100] [100] [title 搜索结构 [alt text]] %}

<commit_msg>修改文章文章<commit_after>---
layout: post
title: zsearch代码学习（1）
category: 技术
tags: 搜索引擎
keywords: 
description: 
---

## 搜索引擎整体实现

部门搜索引擎经过几次框架上的重构，框架改了好几版，当前框架较为稳定，并且性能也很好，其中有很多值得学习的地方。整体当前搜索框架如下面所示：

{% img [class names] /public/img/tech/sousuojiagou.png [100] [100] [title text [alt text]] %}


{'fraction_non_alphanumeric': 0.14890016920473773, 'fraction_numerical': 0.023688663282571912, 'mean_word_length': 5.651685393258427, 'pattern_counts': {'":': 0, '<': 3, '<?xml version=': 0, '>': 3, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '2759110', 'n_tokens_mistral': 382, 'n_tokens_neox': 431, 'n_words': 46}