<commit_before>#Russian multiwords file used for chunking
# FR  frazeologism
################
до мажор	NN:Masc
до минор	NN:Masc
###############
пиши пропало	FR
пиши пропал	FR
пиши пропала	FR
пиши пропали	FR
считай пропало	FR
считай пропал	FR
считай пропала	FR
считай пропали	FR
откуда ни возьмись	FR
###############
как попало	ADV
Как попало	ADV
как следует	ADV
Как следует	ADV
на ощупь	ADV
на плаву	ADV
на поруки	ADV
на прицел	ADV
на редкость	ADV
на рысях	ADV
на скаку	ADV
на славу	ADV
на совесть	ADV
на страже	ADV
на ура	ADV
на ходу	ADV
на цыпочках	ADV
на четвереньках	ADV
на излёте	ADV
на измор	ADV
на износ	ADV
на исходе	ADV
на корточках	ADV
на корточки	ADV
на лад	ADV
на лету	ADV
на манер	ADV
на миг	ADV
на мировую	ADV
на отлично	ADV
на бегу	ADV
на боковую	ADV
на вес	ADV
на весу	ADV
на вид	ADV
на виду	ADV
на время	ADV
на выбор	ADV
на глаз	ADV
на грех	ADV
на диво	ADV
на днях	ADV
на дому	ADV
на дыбы	ADV
на зависть	ADV
на излёте	ADV
на измор	ADV
на износ	ADV
на исходе	ADV
на корточках	ADV
на корточки	ADV
на лад	ADV
на лету	ADV
на манер	ADV
на миг	ADV
на мировую	ADV
на отлично	ADV
до востребования	ADV
до зарезу	ADV
до крайности	ADV
до неузнаваемости	ADV
до отвала	ADV
до отказа	ADV
до свидания	ADV
до упаду	ADV
с ведома	ADV
с виду	ADV
с головой	ADV
с маху	ADV
с разбегу	ADV
с толку	ADV
с размаху	ADV
с опозданием	ADV
с опережением	ADV
с выгодой	ADV
в дальнейшем	ADV
в диковинку	ADV
в заключение	ADV
в меру	ADV
в насмешку	ADV
в обнимку	ADV
в обтяжку	ADV
в обхват	ADV
в основном	ADV
в общем	ADV
в отместку	ADV
в рассрочку	ADV
в розницу	ADV
в складчину	ADV
в старину	ADV
в тиши	ADV
во что бы то ни стало	ADV
Во что бы то ни стало	ADV
во что бы ни стало	ADV
Во что бы ни стало	ADV
того и гляди	ADV
Того и гляди	ADV
######################
# цельные выражения с деепричастием
######################
сложа руки	ADV
сломя голову	ADV
спустя рукава	ADV
затаив дыхание	ADV<commit_msg>[ru] add new<commit_after>#Russian multiwords file used for chunking
# FR  frazeologism
################
до мажор	NN:Masc
до минор	NN:Masc
###############
откуда ни возьмись	FR
пиши пропал	FR
пиши пропала	FR
пиши пропали	FR
пиши пропало	FR
считай пропал	FR
считай пропала	FR
считай пропали	FR
считай пропало	FR
###############
в дальнейшем	ADV
в диковинку	ADV
в заключение	ADV
в меру	ADV
в насмешку	ADV
в обнимку	ADV
в обтяжку	ADV
в обхват	ADV
в общем	ADV
в основном	ADV
в отместку	ADV
во что бы ни стало	ADV
Во что бы ни стало	ADV
во что бы то ни стало	ADV
Во что бы то ни стало	ADV
в рассрочку	ADV
в розницу	ADV
в складчину	ADV
в старину	ADV
в тиши	ADV
до востребования	ADV
до зарезу	ADV
до крайности	ADV
до неузнаваемости	ADV
до отвала	ADV
до отказа	ADV
до свидания	ADV
до упаду	ADV
как попало	ADV
Как попало	ADV
как следует	ADV
Как следует	ADV
на бегу	ADV
на боковую	ADV
на вес	ADV
на весу	ADV
на вид	ADV
на виду	ADV
на время	ADV
на выбор	ADV
на глаз	ADV
на грех	ADV
на диво	ADV
на днях	ADV
на дому	ADV
на дыбы	ADV
на зависть	ADV
на излёте	ADV
на измор	ADV
на износ	ADV
на исходе	ADV
на корточках	ADV
на корточки	ADV
на лад	ADV
на лету	ADV
на манер	ADV
на миг	ADV
на мировую	ADV
на отлично	ADV
на ощупь	ADV
на плаву	ADV
на поруки	ADV
на прицел	ADV
на редкость	ADV
на рысях	ADV
на скаку	ADV
на славу	ADV
на слуху	ADV
на совесть	ADV
на страже	ADV
на ура	ADV
на ходу	ADV
на цыпочках	ADV
на четвереньках	ADV
с ведома	ADV
с виду	ADV
с выгодой	ADV
с головой	ADV
с маху	ADV
с опережением	ADV
с опозданием	ADV
с разбегу	ADV
с размаху	ADV
с толку	ADV
того и гляди	ADV
Того и гляди	ADV
######################
# цельные выражения с деепричастием
######################
затаив дыхание	ADV
сложа руки	ADV
сломя голову	ADV
спустя рукава	ADV
{'fraction_non_alphanumeric': 0.054817275747508304, 'fraction_numerical': 0.0, 'mean_word_length': 4.060224089635854, 'pattern_counts': {'":': 0, '<': 3, '<?xml version=': 0, '>': 3, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '835608', 'n_tokens_mistral': 1901, 'n_tokens_neox': 2151, 'n_words': 698}