<commit_before>
# mapping between office names

OFFICE_NAMES_DIC = {
    'aediles': 'aedilis',
    'aediles of the plebs': 'aedilis plebis',
    'aediles, curule': 'aedilis curulis',
    'aedilicii': 'aedilicius',
    'augures': 'augur',
    'augurs': 'augur',
    'auguris': 'augur',
    'censors': 'censor',
    'consul suffectus': 'consul suffectus',
    'consules designati': 'consul designatus',
    'consules suffecti': 'consul suffectus',
    'consuls': 'consul',
    'decemviri sacris faciundis': 'decemvir sacris faciundis',
    'flamen dialis': 'flamen dialis',
    'flamen divi iulii': 'flamen divi iulii',
    'flamen divi iulius': 'flamen divi Iulius',
    'flamen martialis': 'flamen martialis',
    'flamen quirinalis': 'flamen quirinalis',
    'flamens': 'flamen',
    'flamines': 'flamen',
    'flaminica martialis': 'flaminica martialis',
    'interreges': 'interrex',
    'iudices quaestionum': 'iudex quaestionis',
    'legates or prefects': 'legatus or praefectus',
    'legates, ambassadors': 'legatus (ambassadors)',
    'legates, envoys': 'legatus (envoys)',
    'legates, lieutenants': 'legatus (lieutenant)',
    'luperci': 'lupercus',
    'master of horse': 'magister equitum',
    'masters of horse designate': 'magister equitum designatus',
    'pontifices': 'pontifex',
    'pontifices minores': 'pontifex minor',
    'praetor suffectus': 'praetor suffectus',
    'praetores suffecti': 'praetor suffectus',
    'praetorii': 'praetorius',
    'praetors': 'praetor',
    'prefect of cavalry': 'praefectus equitum',
    'prefects': 'praefectus',
    'prefects of the city': 'praefectus urbi',
    'praefectus urbis': 'praefectus urbi',
    'prefects of the fleet': 'praefectus classis',
    'prefects to assign land to veterans': 'praefectus agris dandis assignandis',
    'quaesitores': 'quaesitor',
    'quaestorii': 'quaestorius',
    'quaestors': 'quaestor',
    'quindecimviri sacris faciundis': 'quindecemvir sacris faciundis',
    'quindecimviri sacris fadundis': 'quindecemvir sacris faciundis',
    'quindeciniviri sacris faciundis': 'quindecemvir sacris faciundis',
    'quindecirnviri sacris faciundis': 'quindecemvir sacris faciundis',
    'quinqueviri agris dandis assignandis': 'quinquevir agris dandis assignandis',
    'rex sacrorum': 'rex sacrorum',
    'sacerdotes': 'sacerdos',
    'septemviri epulones': 'septemvir epulonum',
    'tribunes of the plebs': 'tribunus plebis',
    'tribunes of the soldiers': 'tribunus militum',
    'triumvir capitalis': 'triumvir capitalis',
    'triumviri capitales?': 'triumvir capitalis',
    'triumviri rei publicae constituendae': 'triumvir rei publicae constituendae',
    'vestal virgins': 'vestalis',
    'vestal virgin': 'vestalis',
    'vestales': 'vestalis',
    'triumviri nocturni': 'triumvir nocturnus',
    'triumviri mensarii': 'triumvir mensarius',
    'tresviri epulones': 'triumvir epulonum',
    'triumviri coloniis deducendis f': 'triumvir coloniis deducendis f',
    'triumviri coloniis deducendis e': 'triumvir coloniis deducendis e',
    'triumviri coloniis deducendis d': 'triumvir coloniis deducendis d',
    'triumviri coloniis deducendis c': 'triumvir coloniis deducendis c',
    'triumviri coloniis deducendis b': 'triumvir coloniis deducendis b',
    'triumviri coloniis deducendis a': 'triumvir coloniis deducendis a',
    'triumviri coloniis deducendis 3': 'triumvir coloniis deducendis 3',
    'triumviri coloniis deducendis 2': 'triumvir coloniis deducendis 2',
    'triumviri coloniis deducendis 1': 'triumvir coloniis deducendis 1',
    'special commissions triumviri coloniis deducendis': 'triumvir coloniis deducendis',
    'triumviri coloniis deducendis': 'triumvir coloniis deducendis',
    'triumviri colonis deducendis': 'triumvir coloniis deducendis',
    'special commissions: triumviri coloniae deducendae': 'triumvir coloniae deducendae',
    'triumviri coloniae deducendae': 'triumvir coloniae deducendae',
    'triumviri capitales': 'triumvir capitalis',
    'triumviri agro dando': 'triumvir agro dando',
    'triumviri agris iudicandis assignandis': 'triumvir agris iudicandis assignandis',
    'triumviri agris dandis assignandis': 'triumvir agris dandis assignandis',
    'triumviri agris dandis': 'triumvir agris dandis',
    'triumviri ad colonos scribendos': 'triumvir ad colonos scribendos',
    'tribune of the plebs': 'tribunus plebis',
    'military tribunes with consular power': 'tribunus militum consulari potestate',
    'tribunes of the soldiers b': 'tribunus militum b',
    'tribunes of the soldiers a': 'tribunus militum a',
    'tribunes of the soliders': 'tribunus militum',
    'salii': 'salius',
    'priestess': 'sacerdos',
    'priests': 'sacerdos',
    'quinqueviri mensarii': 'quinquevir mensarius',
    'quinqueviri finibus cognoscendis statuendisque': 'quinquevir finibus cognoscendis statuendisque',
    'special commissions quinqueviri agris dandis assignandis': 'quinquevir agris dandis assignandis',
    'questors': 'quaestor',
    'promagistrates': 'promagistrate',
    'prefect of the city': 'praefectus urbi',
    'master of horse, suffectus': 'magister equitum suffectus',
    'masters of horse': 'magister equitum',
    'legates, lieutenants c': 'legatus (lieutenant) c',
    'legates, lieutenants b': 'legatus (lieutenant) b',
    'legates, lieutenants a': 'legatus (lieutenant) a',
    'legates, lieutenants 4': 'legatus (lieutenant) 4',
    'legates, lieutenants 3': 'legatus (lieutenant) 3',
    'legates, lieutenants 2': 'legatus (lieutenant) 2',
    'legates, lieutenants 1': 'legatus (lieutenant) 1',
    'legate, lieutenant': 'legatus (lieutenant)',
    'legates, leiutenants': 'legatus (lieutenant)',
    'legatus (lieutenants)': 'legatus (lieutenant)',
    'legates, envoys f': 'legatus (envoy) f',
    'legates, envoys e': 'legatus (envoy) e',
    'legates, envoys d': 'legatus (envoy) d',
    'legates, envoys c': 'legatus (envoy) c',
    'legates, envoys b': 'legatus (envoy) b',
    'legates, envoys a': 'legatus (envoy) a',
    'legates, envoys 4': 'legatus (envoy) 4',
    'legates, envoys 3': 'legatus (envoy) 3',
    'legates, envoys 2': 'legatus (envoy) 2',
    'legates, envoys 1': 'legatus (envoy) 1',
    'legatus (envoys)': 'legatus (envoy)',
    'legates, ambassadors g': 'legatus (ambassador) g',
    'legates, ambassadors f': 'legatus (ambassador) f',
    'legates, ambassadors e': 'legatus (ambassador) e',
    'legates, ambassadors d': 'legatus (ambassador) d',
    'legates, ambassadors c': 'legatus (ambassador) c',
    'legates, ambassadors b': 'legatus (ambassador) b',
    'legates, ambassadors a': 'legatus (ambassador) a',
    'legates, ambassadors 2': 'legatus (ambassador) 2',
    'legates, ambassadors 1': 'legatus (ambassador) 1',
    'legates, ambassadors ? b': 'legatus (ambassador) ? b',
    'legatus (ambassadors)': 'legatus (ambassador)',
    'legates, ambassadors (or lieutenants?)': 'legatus (ambassador or lieutenant?)',
    'legates': 'legatus',
    'flaminica martialis': 'flaminica Martialis',
    'flamen quirinalis': 'flamen Quirinalis',
    'flamen martialis': 'flamen Martialis',
    'duumviri aquae perducendae': 'duumvir aquae perducendae',
    'duumviri navales': 'duumvir navalis',
    'duumviri aedi locandae': 'duumvir aedi locandae',
    'duumviri aedi dedicandae': 'duumvir aedi dedicandae',
    'special commissions duumviri perduellionis': 'duumvir perduellionis',
    'special commissions: duumviri navales': 'duumvir navalis',
    'dictators': 'dictator',
    'decemviri stlitibus iudicandis': 'decemvir stlitibus iudicandis',
    'decemviri consulari imperio legibus scribundis': 'decemvir consulari imperio legibus scribundis',
    'decemviri agris dandis attribuendis iudicandis': 'decemvir agris dandis attribuendis iudicandis',
    'decemviri agris dandis assignandis': 'decemvir agris dandis assignandis',
    'special commissions decemviri agris dandis assignandis': 'decemvir agris dandis assignandis',
    'decemviri agris assignandis': 'decemvir agris assignandis',
    'special commissions curator viis sternendis': 'curator viis sternendis',
    'consuls b': 'consul b',
    'consuls a': 'consul a',
    'augures': 'augur',
    'curule aediles': 'aedilis curulis',
    'aedile': 'aedilis'
}
<commit_msg>small changes to the offices names.<commit_after>
# mapping between office names

OFFICE_NAMES_DIC = {
    'aediles': 'aedilis',
    'aediles of the plebs': 'aedilis plebis',
    'aediles, curule': 'aedilis curulis',
    'aedilicii': 'aedilicius',
    'augures': 'augur',
    'augurs': 'augur',
    'auguris': 'augur',
    'censors': 'censor',
    'consul suffectus': 'consul suffectus',
    'consules designati': 'consul designatus',
    'consules suffecti': 'consul suffectus',
    'consuls': 'consul',
    'decemviri sacris faciundis': 'decemvir sacris faciundis',
    'flamen dialis': 'flamen dialis',
    'flamen divi iulii': 'flamen divi Iulii',
    'flamen divi iulius': 'flamen divi Iulius',
    'flamen martialis': 'flamen martialis',
    'flamen quirinalis': 'flamen quirinalis',
    'flamens': 'flamen',
    'flamines': 'flamen',
    'flaminica martialis': 'flaminica martialis',
    'interreges': 'interrex',
    'iudices quaestionum': 'iudex quaestionis',
    'legates or prefects': 'legatus or praefectus',
    'legates, ambassadors': 'legatus (ambassador)',
    'legates, envoys': 'legatus (envoy)',
    'legates, lieutenants': 'legatus (lieutenant)',
    'luperci': 'lupercus',
    'master of horse': 'magister equitum',
    'masters of horse designate': 'magister equitum designatus',
    'pontifices': 'pontifex',
    'pontifices minores': 'pontifex minor',
    'praetor suffectus': 'praetor suffectus',
    'praetores suffecti': 'praetor suffectus',
    'praetorii': 'praetorius',
    'praetors': 'praetor',
    'prefect of cavalry': 'praefectus equitum',
    'prefects': 'praefectus',
    'prefects of the city': 'praefectus urbi',
    'praefectus urbis': 'praefectus urbi',
    'prefects of the fleet': 'praefectus classis',
    'prefects to assign land to veterans': 'praefectus agris dandis assignandis',
    'quaesitores': 'quaesitor',
    'quaestorii': 'quaestorius',
    'quaestors': 'quaestor',
    'quindecimviri sacris faciundis': 'quindecemvir sacris faciundis',
    'quindecimviri sacris fadundis': 'quindecemvir sacris faciundis',
    'quindeciniviri sacris faciundis': 'quindecemvir sacris faciundis',
    'quindecirnviri sacris faciundis': 'quindecemvir sacris faciundis',
    'quinqueviri agris dandis assignandis': 'quinquevir agris dandis assignandis',
    'rex sacrorum': 'rex sacrorum',
    'sacerdotes': 'sacerdos',
    'septemviri epulones': 'septemvir epulonum',
    'tribunes of the plebs': 'tribunus plebis',
    'tribunes of the soldiers': 'tribunus militum',
    'triumvir capitalis': 'triumvir capitalis',
    'triumviri capitales?': 'triumvir capitalis',
    'triumviri rei publicae constituendae': 'triumvir rei publicae constituendae',
    'vestal virgins': 'vestalis',
    'vestal virgin': 'vestalis',
    'vestales': 'vestalis',
    'triumviri nocturni': 'triumvir nocturnus',
    'triumviri mensarii': 'triumvir mensarius',
    'tresviri epulones': 'triumvir epulonum',
    'triumviri coloniis deducendis f': 'triumvir coloniis deducendis f',
    'triumviri coloniis deducendis e': 'triumvir coloniis deducendis e',
    'triumviri coloniis deducendis d': 'triumvir coloniis deducendis d',
    'triumviri coloniis deducendis c': 'triumvir coloniis deducendis c',
    'triumviri coloniis deducendis b': 'triumvir coloniis deducendis b',
    'triumviri coloniis deducendis a': 'triumvir coloniis deducendis a',
    'triumviri coloniis deducendis 3': 'triumvir coloniis deducendis 3',
    'triumviri coloniis deducendis 2': 'triumvir coloniis deducendis 2',
    'triumviri coloniis deducendis 1': 'triumvir coloniis deducendis 1',
    'special commissions triumviri coloniis deducendis': 'triumvir coloniis deducendis',
    'triumviri coloniis deducendis': 'triumvir coloniis deducendis',
    'triumviri colonis deducendis': 'triumvir coloniis deducendis',
    'special commissions: triumviri coloniae deducendae': 'triumvir coloniae deducendae',
    'triumviri coloniae deducendae': 'triumvir coloniae deducendae',
    'triumviri capitales': 'triumvir capitalis',
    'triumviri agro dando': 'triumvir agro dando',
    'triumviri agris iudicandis assignandis': 'triumvir agris iudicandis assignandis',
    'triumviri agris dandis assignandis': 'triumvir agris dandis assignandis',
    'triumviri agris dandis': 'triumvir agris dandis',
    'triumviri ad colonos scribendos': 'triumvir ad colonos scribendos',
    'tribune of the plebs': 'tribunus plebis',
    'military tribunes with consular power': 'tribunus militum consulari potestate',
    'tribunes of the soldiers b': 'tribunus militum b',
    'tribunes of the soldiers a': 'tribunus militum a',
    'tribunes of the soliders': 'tribunus militum',
    'salii': 'salius',
    'priestess': 'sacerdos',
    'priests': 'sacerdos',
    'quinqueviri mensarii': 'quinquevir mensarius',
    'quinqueviri finibus cognoscendis statuendisque': 'quinquevir finibus cognoscendis statuendisque',
    'special commissions quinqueviri agris dandis assignandis': 'quinquevir agris dandis assignandis',
    'questors': 'quaestor',
    'promagistrates': 'promagistrate',
    'prefect of the city': 'praefectus urbi',
    'master of horse, suffectus': 'magister equitum suffectus',
    'masters of horse': 'magister equitum',
    'legates, lieutenants c': 'legatus (lieutenant) c',
    'legates, lieutenants b': 'legatus (lieutenant) b',
    'legates, lieutenants a': 'legatus (lieutenant) a',
    'legates, lieutenants 4': 'legatus (lieutenant) 4',
    'legates, lieutenants 3': 'legatus (lieutenant) 3',
    'legates, lieutenants 2': 'legatus (lieutenant) 2',
    'legates, lieutenants 1': 'legatus (lieutenant) 1',
    'legate, lieutenant': 'legatus (lieutenant)',
    'legates, leiutenants': 'legatus (lieutenant)',
    'legatus (lieutenants)': 'legatus (lieutenant)',
    'legates, envoys f': 'legatus (envoy) f',
    'legates, envoys e': 'legatus (envoy) e',
    'legates, envoys d': 'legatus (envoy) d',
    'legates, envoys c': 'legatus (envoy) c',
    'legates, envoys b': 'legatus (envoy) b',
    'legates, envoys a': 'legatus (envoy) a',
    'legates, envoys 4': 'legatus (envoy) 4',
    'legates, envoys 3': 'legatus (envoy) 3',
    'legates, envoys 2': 'legatus (envoy) 2',
    'legates, envoys 1': 'legatus (envoy) 1',
    'legatus (envoys)': 'legatus (envoy)',
    'legates, ambassadors g': 'legatus (ambassador) g',
    'legates, ambassadors f': 'legatus (ambassador) f',
    'legates, ambassadors e': 'legatus (ambassador) e',
    'legates, ambassadors d': 'legatus (ambassador) d',
    'legates, ambassadors c': 'legatus (ambassador) c',
    'legates, ambassadors b': 'legatus (ambassador) b',
    'legates, ambassadors a': 'legatus (ambassador) a',
    'legates, ambassadors 2': 'legatus (ambassador) 2',
    'legates, ambassadors 1': 'legatus (ambassador) 1',
    'legates, ambassadors ? b': 'legatus (ambassador) ? b',
    'legatus (ambassadors)': 'legatus (ambassador)',
    'legates, ambassadors (or lieutenants?)': 'legatus (ambassador or lieutenant?)',
    'legates': 'legatus (lieutenant)',
    'flaminica martialis': 'flaminica Martialis',
    'flamen quirinalis': 'flamen Quirinalis',
    'flamen martialis': 'flamen Martialis',
    'duumviri aquae perducendae': 'duumvir aquae perducendae',
    'duumviri navales': 'duumvir navalis',
    'duumviri aedi locandae': 'duumvir aedi locandae',
    'duumviri aedi dedicandae': 'duumvir aedi dedicandae',
    'special commissions duumviri perduellionis': 'duumvir perduellionis',
    'special commissions: duumviri navales': 'duumvir navalis',
    'dictators': 'dictator',
    'decemviri stlitibus iudicandis': 'decemvir stlitibus iudicandis',
    'decemviri consulari imperio legibus scribundis': 'decemvir consulari imperio legibus scribundis',
    'decemviri agris dandis attribuendis iudicandis': 'decemvir agris dandis attribuendis iudicandis',
    'decemviri agris dandis assignandis': 'decemvir agris dandis assignandis',
    'special commissions decemviri agris dandis assignandis': 'decemvir agris dandis assignandis',
    'decemviri agris assignandis': 'decemvir agris assignandis',
    'special commissions curator viis sternendis': 'curator viis sternendis',
    'consuls b': 'consul b',
    'consuls a': 'consul a',
    'augures': 'augur',
    'curule aediles': 'aedilis curulis',
    'aedile': 'aedilis'
}

{'fraction_non_alphanumeric': 0.12895612708018153, 'fraction_numerical': 0.003146747352496218, 'mean_word_length': 4.710435383552177, 'pattern_counts': {'":': 0, '<': 3, '<?xml version=': 0, '>': 3, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '4203407', 'n_tokens_mistral': 6380, 'n_tokens_neox': 6097, 'n_words': 1630}