<commit_before>AK:
    en: Alaska
AL:
    en: Alabama
AR:
    en: Arkansas
AZ:
    en: Arizona
CA:
    en: California
CO:
    en: Colorado
CT:
    en: Connecticut
"D.C":
    en: District of Columbia
"D.C.":
    en: District of Columbia
DC:
    en: District of Columbia
DE:
    en: Delaware
FL:
    en: Florida
GA:
    en: Georgia
HI:
    en: Hawaii
IA:
    en: Iowa
ID:
    en: Idaho
IL:
    en: Illinois
IN:
    en: Indiana
KS:
    en: Kansas
KY:
    en: Kentucky
LA:
    en: Louisiana
MA:
    en: Massachusetts
MD:
    en: Maryland
ME:
    en: Maine
MI:
    en: Michigan
MN:
    en: Minnesota
MO:
    en: Missouri
MS:
    en: Mississippi
MT:
    en: Montana
NC:
    en: North Carolina
ND:
    en: North Dakota
NE:
    en: Nebraska
NH:
    en: New Hampshire
NJ:
    en: New Jersey
NM:
    en: New Mexico
NV:
    en: Nevada
NY:
    en: New York
OH:
    en: Ohio
OK:
    en: Oklahoma
OR:
    en: Oregon
PA:
    en: Pennsylvania
RI:
    en: Rhode Island
SC:
    en: South Carolina
SD:
    en: South Dakota
TN:
    en: Tennessee
TX:
    en: Texas
UT:
    en: Utah
VA:
    en: Virginia
VT:
    en: Vermont
WA:
    en: Washington
WI:
    en: Wisconsin
WV:
    en: West Virginia
WY:
    en: Wyoming<commit_msg>[states] adding abbreviations with internal periods for multi-word US states<commit_after>AK:
    en: Alaska
AL:
    en: Alabama
AR:
    en: Arkansas
AZ:
    en: Arizona
CA:
    en: California
CO:
    en: Colorado
CT:
    en: Connecticut
"D.C":
    en: District of Columbia
"D.C.":
    en: District of Columbia
DC:
    en: District of Columbia
DE:
    en: Delaware
FL:
    en: Florida
GA:
    en: Georgia
HI:
    en: Hawaii
IA:
    en: Iowa
ID:
    en: Idaho
IL:
    en: Illinois
IN:
    en: Indiana
KS:
    en: Kansas
KY:
    en: Kentucky
LA:
    en: Louisiana
MA:
    en: Massachusetts
MD:
    en: Maryland
ME:
    en: Maine
MI:
    en: Michigan
MN:
    en: Minnesota
MO:
    en: Missouri
MS:
    en: Mississippi
MT:
    en: Montana
"N.C":
    en: North Carolina
"N.C.":
    en: North Carolina
NC:
    en: North Carolina
"N.D":
    en: North Dakota
"N.D.":
    en: North Dakota
ND:
    en: North Dakota
NE:
    en: Nebraska
NH:
    en: New Hampshire
"N.J":
    en: New Jersey
"N.J.":
    en: New Jersey
NJ:
    en: New Jersey
"N.M":
    en: New Mexico
"N.M.":
    en: New Mexico
NM:
    en: New Mexico
NV:
    en: Nevada
"N.Y":
    en: New York
"N.Y.":
    en: New York
NY:
    en: New York
OH:
    en: Ohio
OK:
    en: Oklahoma
OR:
    en: Oregon
PA:
    en: Pennsylvania
"R.I":
    en: Rhode Island
"R.I.":
    en: Rhode Island
RI:
    en: Rhode Island
"S.C":
    en: South Carolina
"S.C.":
    en: South Carolina
SC:
    en: South Carolina
"S.D":
    en: South Dakota
"S.D.":
    en: South Dakota
SD:
    en: South Dakota
TN:
    en: Tennessee
TX:
    en: Texas
UT:
    en: Utah
VA:
    en: Virginia
VT:
    en: Vermont
WA:
    en: Washington
WI:
    en: Wisconsin
"W.V":
    en: West Virginia
"W.V.":
    en: West Virginia
WV:
    en: West Virginia
WY:
    en: Wyoming
{'fraction_non_alphanumeric': 0.11215580926796508, 'fraction_numerical': 0.0, 'mean_word_length': 2.103125, 'pattern_counts': {'":': 22, '<': 3, '<?xml version=': 0, '>': 3, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '7524046', 'n_tokens_mistral': 1186, 'n_tokens_neox': 1152, 'n_words': 430}