<commit_before>#CppJieba是"结巴"中文分词的C++版本

## 中文编码

现在支持utf8,gbk编码的分词。   

- `master`分支支持`utf8`编码   
- `gbk`分支支持`gbk`编码

## 安装与使用

### 下载和安装

```sh
wget https://github.com/aszxqw/cppjieba/archive/master.zip -O cppjieba-master.zip
unzip cppjieba-master.zip
cd cppjieba-master
mkdir build
cd build
cmake ..
make
sudo make install
```

### 验证

```sh
/usr/bin/cjseg.sh ../test/testlines.utf8
```

### 启动服务

```
#启动
/etc/init.d/CppJieba/start.sh
#停止
/etc/init.d/CppJieba/stop.sh
```

#### 验证服务

然后用chrome浏览器打开`http://127.0.0.1:11258/?key=南京市长江大桥`
(用chrome的原因是chrome的默认编码就是utf-8)

或者用命令 `curl "http://127.0.0.1:11258/?key=南京市长江大桥"` (ubuntu中的curl安装命令`sudo apt-get install curl`)

### 卸载
```sh
cd build/
cat install_manifest.txt | sudo xargs rm -rf
```


<commit_msg>modify port in readme.md<commit_after>#CppJieba是"结巴"中文分词的C++版本

## 中文编码

现在支持utf8,gbk编码的分词。   

- `master`分支支持`utf8`编码   
- `gbk`分支支持`gbk`编码

## 安装与使用

### 下载和安装

```sh
wget https://github.com/aszxqw/cppjieba/archive/master.zip -O cppjieba-master.zip
unzip cppjieba-master.zip
cd cppjieba-master
mkdir build
cd build
cmake ..
make
sudo make install
```

### 验证

```sh
/usr/bin/cjseg.sh ../test/testlines.utf8
```

### 启动服务

```
#启动
/etc/init.d/CppJieba/start.sh
#停止
/etc/init.d/CppJieba/stop.sh
```

#### 验证服务

然后用chrome浏览器打开`http://127.0.0.1:11200/?key=南京市长江大桥`
(用chrome的原因是chrome的默认编码就是utf-8)

或者用命令 `curl "http://127.0.0.1:11200/?key=南京市长江大桥"` (ubuntu中的curl安装命令`sudo apt-get install curl`)

### 卸载
```sh
cd build/
cat install_manifest.txt | sudo xargs rm -rf
```



{'fraction_non_alphanumeric': 0.18688524590163935, 'fraction_numerical': 0.03409836065573771, 'mean_word_length': 4.069767441860465, 'pattern_counts': {'":': 0, '<': 3, '<?xml version=': 0, '>': 3, 'https://': 2, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 4, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '3241516', 'n_tokens_mistral': 894, 'n_tokens_neox': 914, 'n_words': 111}