<commit_before>{
  "gender": {
    "": "",
    "": "",
    "": "",
    "": "",
    "": "",
    "": "",
    "": " "
  },
  "person": {
    "": "",
    "": "",
    "": "",
    "": "",
    "": "",
    "": "",
    "": "",
    "": "",
    "": "",
    "": " "
  },
  "person2": {
    "": "",
    "": "",
    "": "",
    "": "",
    "": "",
    "": "",
    "": "",
    "": ""
  },
  "normal": {
    "": "",
    "": " ",
    "": "",
    "": "",
    "-": "",
    "": "",
    "": "",
    "": "",
    "": "",
    "": "",
    "-": "",
    "": "",
    "": "",
    " ": "",
    "": "",
    "": "",
    "": "",
    " ": "",
    "": "",
    " ": " ",
    "": " "
  },
  "reflections": {
    "": "",
    "": "",
    "": "",
    "": "",
    "": "",
    " ": " ",
    " ": " ",
    "": "",
    "": "",
    "": "",
    " ": "",
    "": "",
    "": "",
    "": "",
    "": "",
    "": "",
    "": "",
    "": "",
    "": " ",
    "": " ",
    "": "",
    "": "",
    "":"",
    " ": "",
    "": ""
  }
}<commit_msg>Recoding of substitutions.json for encoding utf-8<commit_after>{
  "gender": {
    "הוא": "היא",
    "אותו": "אותה",
    "שלו": "שלה",
    "בעצמו": "בעצמה",
    "הוא": "היא",
    "שלו": "שלה",
    "עצמו": "את עצמה"
  },
  "person": {
    "אני": "אותו",
    "שלי": "שלו",
    "שלנו": "שלהם",
    "עצמי": "עצמו",
    "אותו": "אני",
    "שלו": "שלי",
    "עצמו": "עצמי",
    "היא": "אני",
    "שלה": "שלי",
    "עצמה": "את עצמי"
  },
  "person2": {
    "אני": "אתה",
    "איתך": "איתי",
    "שלי": "שלך",
    "עצמי": "עצמך",
    "אתה": "אני",
    "איתי": "איתך",
    "שלך": "שלי",
    "עצמך": "עצמי"
  },
  "normal": {
    "רוצה": "רוצה",
    "הולך": "הולך ל",
    "כן": "בטח",
    "חיובי": "כן",
    "אה-הא": "כן",
    "יה": "כן",
    "בוודאי": "כן",
    "אמן": "כן",
    "לגמרי": "כן",
    "סבבה": "כן",
    "אה-אה": "לא",
    "לא": "לא",
    "שלילי": "לא",
    "בחיים לא": "לא",
    "בסדר": "בסדר",
    "אוקי": "בסדר",
    "אינו": "אינו",
    "זה לא": "אינו",
    "אין": "לא",
    "מתי זה": "מתי הוא",
    "מתי": "מתי עשה"
  },
  "reflections": {
    "אני": "אתה",
    "הייתי": "היית",
    "שהייתי": "שהיית",
    "איתך": "איתי",
    "אותך": "אותי",
    "שהייתי עושה": "שהיית עושה",
    "הייתי עושה": "היית עושה",
    "לי": "לך",
    "עליך": "עלי",
    "שלי": "שלך",
    "את עצמי": "אותי",
    "עצמי": "עצמך",
    "אתה": "אני",
    "היית": "הייתי",
    "שהיית": "שהייתי",
    "איתי": "איתך",
    "אותי": "אותך",
    "לך": "לי",
    "שתעשה": "שאני אעשה",
    "תעשה": "אני אעשה",
    "עלי": "עליך",
    "שלך": "שלי",
    "אליך":"אלי",
    "את עצמך": "אותי",
    "עצמך": "עצמי"
  }
}
{'fraction_non_alphanumeric': 0.35600466381655654, 'fraction_numerical': 0.001165954139137194, 'mean_word_length': 1.6645962732919255, 'pattern_counts': {'":': 152, '<': 3, '<?xml version=': 0, '>': 3, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '5306306', 'n_tokens_mistral': 1483, 'n_tokens_neox': 1512, 'n_words': 174}