<commit_before># The opposite of added.txt: these readings will be removed.
# Useful to remove incorrect readings from the binary dictionary without rebuilding it.
# File Encoding: UTF-8
# Format: fullform baseform postags (tab separated)
#
a	a	NCMS000
cãos	cão	AQ0MP0
cãos	cão	NCMP000
dizer	dizer	NCMS000
estilo	estilar	VMIP1S0
e	e	NCMS000
eu	eu	NCMS000
fez	fez	NCMS000
# fez - singular de fezes raramente usado em comparação com a forma verbal
finança	finança	NCMS000
finanças	finanças	NCMP000
gerador	gerador	AQ0MP0
há	há	NCMS000
horas	horar	VMIP2S0
imperador	imperador	AQ0MP0
imperador	imperador	NCMP000
mas	mas	NCMN000
nós	nós	NCMP000
# nós - singular de nozes raramente usado em comparação com o pronome pessoal
o	o	NCMS000
oo	o	NCMP000
portugueses	portuguesar	VMM02S0
portugueses	portuguesar	VMSP2S0
portuguesas	portuguesar	VMIP2S0
portuguesa	portuguesar	VMIP3S0
portuguesa	portuguesar	VMM02S0
#portuguesar não é utilizado em linguagem formal
quentes	quentar	VMM02S0
quentes	quentar	VMSP2S0
razões	razão	NCMP000
uma	umar	VMIP3S0
uma	umar	VMM02S0
umas	umar	VMIP2S0
<commit_msg>[pt] dictionary fixes<commit_after># The opposite of added.txt: these readings will be removed.
# Useful to remove incorrect readings from the binary dictionary without rebuilding it.
# File Encoding: UTF-8
# Format: fullform baseform postags (tab separated)
#
a	a	NCMS000
cãos	cão	AQ0MP0
cãos	cão	NCMP000
dizer	dizer	NCMS000
estilo	estilar	VMIP1S0
e	e	NCMS000
eu	eu	NCMS000
fez	fez	NCMS000
# fez - singular de fezes raramente usado em comparação com a forma verbal
finança	finança	NCMS000
finanças	finanças	NCMP000
gerador	gerador	AQ0MP0
há	há	NCMS000
hora	horar	VMIP3S0
hora	horar	VMM02S0
horas	horar	VMIP2S0
#Verbo Horar existe mas é raramente utilizado
imperador	imperador	AQ0MP0
imperador	imperador	NCMP000
mas	mas	NCMN000
nós	nós	NCMP000
# nós - singular de nozes raramente usado em comparação com o pronome pessoal
o	o	NCMS000
oo	o	NCMP000
portugueses	portuguesar	VMM02S0
portugueses	portuguesar	VMSP2S0
portuguesas	portuguesar	VMIP2S0
portuguesa	portuguesar	VMIP3S0
portuguesa	portuguesar	VMM02S0
#portuguesar não é utilizado em linguagem formal
quentes	quentar	VMM02S0
quentes	quentar	VMSP2S0
razões	razão	NCMP000
uma	umar	VMIP3S0
uma	umar	VMM02S0
umas	umar	VMIP2S0

{'fraction_non_alphanumeric': 0.020814880425155006, 'fraction_numerical': 0.07307351638618247, 'mean_word_length': 5.491379310344827, 'pattern_counts': {'":': 0, '<': 3, '<?xml version=': 0, '>': 3, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '3528213', 'n_tokens_mistral': 1065, 'n_tokens_neox': 974, 'n_words': 319}