<commit_before># A part-of-speech dictionary that's used additionally to the binary dictionary (*.dict).
# This does not add words to the spell checker, see hunspell/spelling.txt for that.
# File Encoding: UTF-8
# Format: three tab-separated fields: fullform baseform postags
# Need replace to dict
ёмкостной	ёмкостный	ADJ:Posit:Masc:Nom
он	он	PNN:Masc:Nom:P3
она	она	PNN:Fem:Nom:P3
оно	оно	PNN:Neut:Nom:P3
рпц	рпц	ABR:Fem
гдр	гдр	ABR:Fem
# Need add to dict with extended postag like PNN:Inanim:V, PNN:Inanim:R, PNN:Inanim:D, PNN:Inanim:T, PNN:Inanim:P (TODO) 
себя	себя	PNN
себе	себе	PNN
собою	собою	PNN
# Need add to dict
беспроводной	беспроводный	ADJ:Posit:Masc:Nom
трём	три	Num
исследоваться	исследоваться	VB:INF:
кипиа	кипиа	ABR:Masc
татами	татами	NN:Inanim
атами	aтами	NN:Inanim<commit_msg>[ru]  moved Name_fix1 to added.txt<commit_after># A part-of-speech dictionary that's used additionally to the binary dictionary (*.dict).
# This does not add words to the spell checker, see hunspell/spelling.txt for that.
# File Encoding: UTF-8
# Format: three tab-separated fields: fullform baseform postags
# Need replace to dict
ёмкостной	ёмкостный	ADJ:Posit:Masc:Nom
он	он	PNN:Masc:Nom:P3
она	она	PNN:Fem:Nom:P3
оно	оно	PNN:Neut:Nom:P3
рпц	рпц	ABR:Fem
гдр	гдр	ABR:Fem
# Need add to dict with extended postag like PNN:Inanim:V, PNN:Inanim:R, PNN:Inanim:D, PNN:Inanim:T, PNN:Inanim:P (TODO) 
себя	себя	PNN
себе	себе	PNN
собою	собою	PNN
# Need add to dict
беспроводной	беспроводный	ADJ:Posit:Masc:Nom
трём	три	Num
исследоваться	исследоваться	VB:INF:
кипиа	кипиа	ABR:Masc
татами	татами	NN:Inanim
атами	aтами	NN:Inanim
# migrated from disambiguation.xml, need improve. This word allready has tag in dictionary, but it need additional tags.
аввы	аввы	NN:Inanim	
авеню	авеню	NN:Inanim
автономов	автономов	NN:Inanim
автономы	автономы	NN:Inanim
айс	айс	NN:Inanim
анхом	анх	NN:Inanim
ариан	ариан	NN:Inanim
арианами	арианами	NN:Inanim
ариев	ариев	NN:Anim
арсин	арсин	NN:Inanim
арт	арт	NN:Inanim
архимедов	архимедов	NN:Inanim
ат	ат	NN:Inanim
аурелия	аурелия	NN:Inanim
бен	бен	NN:Inanim	
валин	валин	NN:Inanim
валина	валина	NN:Inanim
гея	гея	NN:Inanim
геям	геям	NN:Inanim
геи	геи	NN:Inanim
геями	геями	NN:Inanim
данов	данов	NN:Inanim
деи	деи	NN:Inanim
ден	ден	NN:Inanim
диско	диско	NN:Inanim
зарин	зарин	NN:Inanim
зоманом	зоманом	NN:Inanim
иваси	иваси	NN:Inanim
иже	иже	NN:Inanim
калиф	калиф	NN:Inanim
калифа	калифа	NN:Inanim
каратэ	каратэ	NN:Inanim
кларисс	кларисс	NN:Inanim
коста	коста	NN:Inanim
косты	косты	NN:Inanim
лобби	лобби	NN:Inanim
медиа	медиа	NN:Inanim
мисс	мисс	NN:Anim
миссис	миссис	NN:Anim
нереид	нереид	NN:Inanim
оглы	оглы	NN:Anim
роксаланами	роксаланами	NN:Anim
роксоланы	роксоланы	NN:Anim
роялти	роялти	NN:Inanim
сарин	сарин	NN:Inanim
сити	сити	NN:Inanim
спагетти	спагетти	NN:Inanim
суперЭВМ	суперЭВМ	NN:Inanim
троян	троян	NN:Inanim
троянами	троянами	NN:Inanim
фастам	фастам	NN:Inanim
фасты	фасты	NN:Inanim
франц	франц	NN:Anim
фрау	фрау	NN:Anim
эдипов	эдипов	NN:Inanim
януарий	януарий	NN:Inanim
{'fraction_non_alphanumeric': 0.06504336224149433, 'fraction_numerical': 0.003002001334222815, 'mean_word_length': 5.94212962962963, 'pattern_counts': {'":': 0, '<': 3, '<?xml version=': 0, '>': 3, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 1}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '6444671', 'n_tokens_mistral': 1471, 'n_tokens_neox': 1566, 'n_words': 392}