<commit_before>const domains = [
  '247realmedia.com',
  '2mdn.net',
  'adadviser.net',
  'adblade.com',
  'adkengage.com',
  'adnxs.com',
  'adsonar.com',
  'adspeed.net',
  'adtechus.com',
  'advertising.com',
  'adzerk.net',
  'afy11.net',
  'amazon-adsystem.com',
  'ads.yahoo.com',
  'adserver.yahoo.com',
  'analytics.yahoo.com',
  'backbeatmedia.com',
  'bc.yahoo.com',
  'bkrtx.com',
  'gemini.yahoo.com',
  'ysm.yahoo.com',
  'atdmt.com',
  'atwola.com',
  'betrad.com',
  'bizographics.com',
  'bizrate.com',
  'blogads.com',
  'bluekai.com',
  'bounceexchange.com',
  'brcdn.com',
  'buysellads.com',
  'carbonads.net',
  'casalemedia.com',
  'channeladvisor.com',
  'chartbeat.com',
  'chartbeat.net',
  'chitika.net',
  'clicktale.net',
  'content.ad',
  'convertro.com',
  'demdex.net',
  'dotomi.com',
  'doubleclick.net',
  'doubleverify.com',
  'dwin1.com',
  'dynamicyield.com',
  'effectivemeasure.net',
  'en25.com',
  'eproof.com',
  'everestjs.net',
  'everesttech.net',
  'exelator.com',
  'fastclick.net',
  'fmpub.net',
  'ftjcfx.com',
  'getclicky.com',
  'go-mpulse.net',
  'google-analytics.com',
  'googleadservices.com',
  'googlesyndication.com',
  'googletagmanager.com',
  'googletagservices.com',
  'gscounters.eu1.gigya.com',
  'gscounters.gigya.com',
  'gscounters.us1.gigya.com',
  'hit-counts.com',
  'hs-analytics.net',
  'hubspot.com',
  'imrworldwide.com',
  'intellitxt.com',
  'intermarkets.net',
  'korrelate.net',
  'krxd.net',
  'linkconnector.com',
  'linksynergy.com',
  'mathtag.com',
  'media.net',
  'media6degrees.com',
  'mediaforge.com',
  'mediaplex.com',
  'moatads.com',
  'mookie1.com',
  'msads.net',
  'neodatagroup.com',
  'netseer.com',
  'netshelter.net',
  'newscred.com',
  'nexac.com',
  'omtrdc.net',
  'opbandit.com',
  'outbrain.com',
  'pictela.net',
  'pixel.wp.com',
  'pixel.yabidos.com',
  'postrelease.com',
  'pro-market.net',
  'pzkysq.pink',
  'qualtrics.com',
  'quantcast.com',
  'quantserve.com',
  'revsci.net',
  'rlcdn.com',
  'rubiconproject.com',
  'scorecardresearch.com',
  'servebom.com',
  'serving-sys.com',
  'simplereach.com',
  'sitescout.com',
  'skimresources.com',
  'stats.wordpress.com',
  'stats.wp.com',
  'streamads.yahoo.com',
  'taboola.com',
  'trove.com',
  'turn.com',
  'tynt.com',
  'veinteractive.com',
  'verticalscope.com',
  'viglink.com',
  'visualrevenue.com',
  'yldbt.com',
  'zedo.com',
  'zergnet.com',
  'zqtk.net'
]<commit_msg>More ad servers.<commit_after>const domains = [
  '247realmedia.com',
  '2mdn.net',
  'adadviser.net',
  'adblade.com',
  'adkengage.com',
  'adnxs.com',
  'adsonar.com',
  'adspeed.net',
  'adtechus.com',
  'advertising.com',
  'adzerk.net',
  'afy11.net',
  'amazon-adsystem.com',
  'ads.yahoo.com',
  'adserver.yahoo.com',
  'analytics.yahoo.com',
  'backbeatmedia.com',
  'bc.yahoo.com',
  'bkrtx.com',
  'gemini.yahoo.com',
  'ysm.yahoo.com',
  'atdmt.com',
  'atwola.com',
  'betrad.com',
  'bizographics.com',
  'bizrate.com',
  'blogads.com',
  'bluekai.com',
  'bounceexchange.com',
  'brcdn.com',
  'buysellads.com',
  'captifymedia.com',
  'carbonads.net',
  'casalemedia.com',
  'caspion.com',
  'channeladvisor.com',
  'chartbeat.com',
  'chartbeat.net',
  'chitika.net',
  'clicktale.net',
  'content.ad',
  'convertro.com',
  'crsspxl.com',
  'demdex.net',
  'dotomi.com',
  'doubleclick.net',
  'doubleverify.com',
  'dwin1.com',
  'dynamicyield.com',
  'effectivemeasure.net',
  'en25.com',
  'eproof.com',
  'everestjs.net',
  'everesttech.net',
  'exelator.com',
  'exponential.com',
  'fastclick.net',
  'fmpub.net',
  'ftjcfx.com',
  'getclicky.com',
  'go-mpulse.net',
  'google-analytics.com',
  'googleadservices.com',
  'googlesyndication.com',
  'googletagmanager.com',
  'googletagservices.com',
  'gscounters.eu1.gigya.com',
  'gscounters.gigya.com',
  'gscounters.us1.gigya.com',
  'hit-counts.com',
  'hs-analytics.net',
  'hubspot.com',
  'imrworldwide.com',
  'intellitxt.com',
  'intermarkets.net',
  'korrelate.net',
  'krxd.net',
  'linkconnector.com',
  'linksynergy.com',
  'mathtag.com',
  'media.net',
  'media6degrees.com',
  'mediaforge.com',
  'mediaplex.com',
  'moatads.com',
  'mookie1.com',
  'msads.net',
  'neodatagroup.com',
  'netseer.com',
  'netshelter.net',
  'newscred.com',
  'nexac.com',
  'omtrdc.net',
  'opbandit.com',
  'outbrain.com',
  'pictela.net',
  'pixel.wp.com',
  'pixel.yabidos.com',
  'postrelease.com',
  'pro-market.net',
  'pzkysq.pink',
  'qualtrics.com',
  'quantcast.com',
  'quantserve.com',
  'revsci.net',
  'rlcdn.com',
  'rubiconproject.com',
  'scorecardresearch.com',
  'servebom.com',
  'serving-sys.com',
  'simplereach.com',
  'sitescout.com',
  'skimlinks.com',
  'skimresources.com',
  'stats.wordpress.com',
  'stats.wp.com',
  'streamads.yahoo.com',
  'taboola.com',
  'tribalfusion.com',
  'trove.com',
  'turn.com',
  'tynt.com',
  'veinteractive.com',
  'verticalscope.com',
  'viglink.com',
  'visualrevenue.com',
  'yldbt.com',
  'zedo.com',
  'zergnet.com',
  'zqtk.net'
]
{'fraction_non_alphanumeric': 0.2138728323699422, 'fraction_numerical': 0.00518237990831174, 'mean_word_length': 3.6722532588454375, 'pattern_counts': {'":': 0, '<': 3, '<?xml version=': 0, '>': 3, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '4104754', 'n_tokens_mistral': 2398, 'n_tokens_neox': 2327, 'n_words': 260}