<jupyter_start><jupyter_text>点击下列图标在线运行HanLP		 安装 无论是Windows、Linux还是macOS，HanLP的安装只需一句话搞定：<jupyter_code>!pip install hanlp -U<jupyter_output><empty_output><jupyter_text>加载模型HanLP的工作流程是先加载模型，模型的标示符存储在`hanlp.pretrained`这个包中，按照NLP任务归类。<jupyter_code>import hanlp
hanlp.pretrained.tok.ALL # 语种见名称最后一个字段或相应语料库<jupyter_output><empty_output><jupyter_text>调用`hanlp.load`进行加载，模型会自动下载到本地缓存。自然语言处理分为许多任务，分词只是最初级的一个。<jupyter_code>tok = hanlp.load(hanlp.pretrained.tok.COARSE_ELECTRA_SMALL_ZH)
tok<jupyter_output><empty_output><jupyter_text>执行分词：<jupyter_code>tok(['商品和服务。', '阿婆主来到北京立方庭参观自然语义科技公司'])<jupyter_output><empty_output><jupyter_text>你可以通过加载不同的模型实现各种颗粒度、各种分词标准的中文分词。语料库标注标准决定最终的分词标准，模型的准确率决定多大程度上再现该分词标准。更多基础知识请参考[《自然语言处理入门》](http://nlp.hankcs.com/book.php)。  自定义词典自定义词典为分词任务的成员变量：<jupyter_code>tok.dict_combine, tok.dict_force<jupyter_output><empty_output><jupyter_text>不挂词典：<jupyter_code>tok.dict_force = tok.dict_combine = None
tok("商品和服务项目")<jupyter_output><empty_output><jupyter_text>强制模式（慎用，详见[《自然语言处理入门》](http://nlp.hankcs.com/book.php)第二章）：<jupyter_code>tok.dict_force = {'和服', '服务项目'}
tok("商品和服务项目")<jupyter_output><empty_output><jupyter_text>强制校正:<jupyter_code>tok.dict_force = {'和服务': ['和', '服务']}
tok("正向匹配商品和服务、任何和服务必按上述切分")<jupyter_output><empty_output><jupyter_text>合并模式:<jupyter_code>tok.dict_force = None
tok.dict_combine = {'和服', '服务项目'}
tok("商品和服务项目")<jupyter_output><empty_output>
{'fraction_non_alphanumeric': 0.15125448028673835, 'fraction_numerical': 0.0, 'mean_word_length': 18.942857142857143, 'pattern_counts': {'":': 0, '<': 37, '<?xml version=': 0, '>': 37, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'chain_length': '9', 'dir': 'jupyter-structured-clean-dedup', 'id': '76274', 'license': 'Apache-2.0', 'n_tokens_mistral': 841, 'n_tokens_neox': 939, 'n_words': 29, 'path': 'plugins/hanlp_demo/hanlp_demo/zh/tok_stl.ipynb', 'repo_name': 'wangzhaod/HanLP', 'size': '1395'}