<commit_before>// Map of words that should be ignored

export default {
  aðili: true,
  aðstæður: true,
  áhersla: true,
  áhrif: true,
  ákvæði: true,
  ákvörðun: true,
  alþing: true,
  alþingi: true,
  alþingismaður: true,
  ár: true,
  ástæða: true,
  atkvæðagreiðsla: true,
  atriði: true,
  bréf: true,
  breyting: true,
  byr: true,
  dæmi: true,
  dagskrá: true,
  dagur: true,
  drag: true,
  efni: true,
  eiga: true,
  eign: true,
  fá: true,
  færa: true,
  far: true,
  félag: true,
  fólk: true,
  formaður: true,
  forseti: true,
  framkvæmd: true,
  framlag: true,
  freki: true,
  frest: true,
  frú: true,
  frumvarp: true,
  fundur: true,
  fyrirspurn: true,
  fyrsta: true,
  gerð: true,
  get: true,
  geta: true,
  góði: true,
  gott: true,
  greiða: true,
  grein: true,
  hækkun: true,
  hálfa: true,
  háttur: true,
  herra: true,
  hluti: true,
  hlutur: true,
  hönd: true,
  hóp: true,
  horf: true,
  hringir: true,
  hugi: true,
  ísland: true,
  kerfi: true,
  koma: true,
  komin: true,
  konar: true,
  kostur: true,
  lag: true,
  land: true,
  langi: true,
  lát: true,
  legg: true,
  leið: true,
  leyfi: true,
  leyti: true,
  list: true,
  ljós: true,
  lok: true,
  lýðveldi: true,
  maður: true,
  mál: true,
  málaflokkur: true,
  markmið: true,
  mikill: true,
  milljarður: true,
  milljón: true,
  muni: true,
  ná: true,
  næsta: true,
  nefna: true,
  nefnd: true,
  niðurstaða: true,
  not: true,
  notkun: true,
  orð: true,
  partur: true,
  peningur: true,
  ráð: true,
  ráðherra: true,
  ráðuneyti: true,
  ræða: true,
  rak: true,
  raun: true,
  regla: true,
  rétt: true,
  ríki: true,
  ríkisstjórn: true,
  saga: true,
  sala: true,
  sammál: true,
  samþykkt: true,
  sé: true,
  sess: true,
  sjá: true,
  skoðun: true,
  skref: true,
  spurning: true,
  staða: true,
  staður: true,
  stand: true,
  starf: true,
  stefna: true,
  svæði: true,
  svar: true,
  tak: true,
  tal: true,
  tillaga: true,
  tiltrú: true,
  tíma: true,
  tími: true,
  umræða: true,
  upphæð: true,
  varamaður: true,
  varði: true,
  vegur: true,
  veita: true,
  vera: true,
  verk: true,
  verkefni: true,
  veruleiki: true,
  vinna: true,
  vísa: true,
  þáttur: true,
  þing: true,
  þingflokkur: true,
  þingfundur: true,
  þingmaður: true,
  þingsköp: true,
  þökk: true,
}<commit_msg>Refactor ignore list to an array<commit_after>// Map of words that should be ignored

const words = [
  'aðgerð',
  'aðili',
  'aðstæður',
  'áhersla',
  'áhrif',
  'ákvæði',
  'ákvörðun',
  'álit',
  'alþing',
  'alþingi',
  'alþingismaður',
  'ár',
  'ástæða',
  'athugasemd',
  'athygli',
  'atkvæðagreiðsla',
  'atriði',
  'benda',
  'bréf',
  'breyta',
  'breyting',
  'breytingartillaga',
  'byr',
  'dæmi',
  'dagskrá',
  'dagur',
  'drag',
  'efni',
  'eftirlitsnefnd',
  'eiga',
  'eign',
  'embætti',
  'fá',
  'færa',
  'fagn',
  'fang',
  'far',
  'félag',
  'finna',
  'flokkur',
  'fólk',
  'formaður',
  'forsenda',
  'forseti',
  'framkvæmd',
  'framlag',
  'freki',
  'frest',
  'frú',
  'frumvarp',
  'fulltrúi',
  'fundur',
  'fyrirkomulag',
  'fyrirspurn',
  'fyrsta',
  'gagn',
  'gerð',
  'get',
  'geta',
  'góði',
  'gott',
  'greiða',
  'grein',
  'hækkun',
  'hálfa',
  'háttur',
  'heimild',
  'herra',
  'hluti',
  'hlutur',
  'hönd',
  'hóp',
  'horf',
  'hringir',
  'hugi',
  'ísland',
  'kafl',
  'kall',
  'kerfi',
  'koma',
  'komin',
  'konar',
  'kostur',
  'krafa',
  'lag',
  'land',
  'langi',
  'lát',
  'legg',
  'leggur',
  'leið',
  'leyfi',
  'leyti',
  'list',
  'ljós',
  'lok',
  'lýðveldi',
  'maður',
  'mál',
  'málaflokkur',
  'mánuður',
  'mark',
  'markmið',
  'mat',
  'mikill',
  'milljarður',
  'milljón',
  'möguleiki',
  'muni',
  'mynd',
  'ná',
  'næsta',
  'nefna',
  'nefnd',
  'nefndarálit',
  'niðurstaða',
  'not',
  'notkun',
  'núll',
  'orð',
  'ósk',
  'partur',
  'peningur',
  'ráð',
  'ráðherra',
  'ráðuneyti',
  'ræða',
  'rak',
  'raun',
  'regla',
  'reglugerð',
  'rétt',
  'reynd',
  'ríki',
  'ríkisstjórn',
  'saga',
  'sala',
  'sammál',
  'samning',
  'samþykkt',
  'sé',
  'sess',
  'sjá',
  'sjónarmið',
  'skap',
  'skoðun',
  'skor',
  'skref',
  'spurning',
  'staða',
  'staður',
  'stand',
  'starf',
  'starfsemi',
  'starfsmaður',
  'stefna',
  'stofnun',
  'svæði',
  'svar',
  'tag',
  'tak',
  'tal',
  'tekja',
  'tillaga',
  'tiltrú',
  'tilvik',
  'tíma',
  'tími',
  'umfjöllun',
  'umræða',
  'upphæð',
  'upplýsing',
  'varamaður',
  'varði',
  'vega',
  'vegur',
  'veita',
  'veltir',
  'vera',
  'verk',
  'verkefni',
  'veruleiki',
  'vettvangur',
  'vinna',
  'vísa',
  'vitni',
  'von',
  'þáttur',
  'þing',
  'þingflokkur',
  'þingfundur',
  'þingmaður',
  'þingsköp',
  'þökk',
  'þörf',
  'tillag',
  'fela',
  'umsögn',
  'jón',
]

const wordMap = {}
words.forEach(word => {
  wordMap[word] = true
})

export default wordMap
{'fraction_non_alphanumeric': 0.18800082186151634, 'fraction_numerical': 0.0, 'mean_word_length': 2.9545085296506906, 'pattern_counts': {'":': 0, '<': 3, '<?xml version=': 0, '>': 4, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '3828338', 'n_tokens_mistral': 2627, 'n_tokens_neox': 2607, 'n_words': 522}