<commit_before># Groonga token count command plugin

## Command

* ``token_count``

指定したインデックスカラムからトークンの出現数をカウントします。

* 実行例

```
token_count Terms document_index --token_size 2 --limit 3 --use_ctx_output 1
[[0,0.0,0.0],[[23,10],["今日",5],["日は",5],["は雨",3]]]

token_count Terms document_index --token_size 2 --limit 3
今日,5
日は,5
は雨,3
Total tokens = 23
Total kinds = 10
```

* 入力形式

| arg        | description |default|
|:-----------|:------------|:------|
| table      | テーブルを指定 | NULL |
| column     | インデックスカラムを指定 | NULL |
| token_size | 出力トークンの文字数を指定 | -1 |
| ctype | 出力トークンの文字種を指定(ja/alpha) | all |
| sortby | 出力トークンのソートを指定(_key/_value) | ``-_value`` |
| limit | 出力トークンの数を指定 | -1 |
| ratio | 出力トークンの数を全体トークン数に対する比率で指定 | -1 |
| threshold | 出力トークンの最低出現数を指定 | -1 |
| use_ctx_output | json形式で出力するかを指定(0/1) | 0 |

* 出力形式  
標準出力に``トークン,出現数``のcsv形式が出力されます。  
``-- use_ctx_output 1``を利用した場合、json形式で出力されます。

* 実行時間例

約80GiBのTokenBigramの日本語文書での実行時間

```
real    19m18.369s
user    17m10.271s
sys     1m3.834s
```

## Install

Install ``groonga-command-token_count`` package:

### CentOS

* CentOS6

```<commit_msg>Fix README<commit_after># Groonga token count command plugin

## Command

### ``token_count``

指定したインデックスカラムからトークンの出現数をカウントします。

* 実行例

```
token_count Terms document_index --token_size 2 --limit 3 --use_ctx_output 1
[[0,0.0,0.0],[[23,10],["今日",5],["日は",5],["は雨",3]]]

token_count Terms document_index --token_size 2 --limit 3
今日,5
日は,5
は雨,3
Total tokens = 23
Total kinds = 10
```

* 入力形式

| arg        | description |default|
|:-----------|:------------|:------|
| table      | テーブルを指定 | NULL |
| column     | インデックスカラムを指定 | NULL |
| token_size | 出力トークンの文字数を指定 | -1 |
| ctype | 出力トークンの文字種を指定(ja/alpha) | all |
| sortby | 出力トークンのソートを指定(_key/_value) | ``-_value`` |
| limit | 出力トークンの数を指定 | -1 |
| ratio | 出力トークンの数を全体トークン数に対する比率で指定 | -1 |
| threshold | 出力トークンの最低出現数を指定 | -1 |
| use_ctx_output | json形式で出力するかを指定(0/1) | 0 |

* 出力形式  
標準出力に``トークン,出現数``のcsv形式が出力されます。  
``-- use_ctx_output 1``を利用した場合、json形式で出力されます。

* 実行時間例

約80GiBのTokenBigramの日本語文書での実行時間

```
real    19m18.369s
user    17m10.271s
sys     1m3.834s
```

## Install

Install ``groonga-command-token-count`` package:

### CentOS

* CentOS6

```
{'fraction_non_alphanumeric': 0.1842462652784065, 'fraction_numerical': 0.0488909008601177, 'mean_word_length': 3.5194274028629855, 'pattern_counts': {'":': 0, '<': 3, '<?xml version=': 0, '>': 3, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '3560752', 'n_tokens_mistral': 1245, 'n_tokens_neox': 1184, 'n_words': 171}