<commit_before>[
  {
    "DeniedAlternatives": [],
    "Files": {
      "codex/floran/floranhistory5.codex": [
        "/title"
      ]
    },
    "Texts": {
      "Eng": "Florans in the Mist",
      "Rus": "Флораны в тумане"
    }
  },
  {
    "DeniedAlternatives": [],
    "Files": {
      "codex/floran/floranhistory5.codex": [
        "/contentPages/0"
      ]
    },
    "Texts": {
      "Eng": "For a human scientist like myself, every day among the Floran is a fascinating experience.\n\nI have spent several months now observing a typical colony of the plant-like race and have made countless groundbreaking observations.\n\nThe common opinion is that Floran are inherently savage or evil, but from my experiences I can concede that they merely lack understanding.",
      "Rus": "Каждый день среди Флоран приносит мне новые удивительные открытия.\n\nЯ наблюдаю колонию этих растениеподобных существ уже несколько месяцев, и много раз общался с её обитателями.\n\nВот что я могу сказать - расхожее мнение о том, что Флоране от природы жестоки и дики, есть не более чем плод недостаточного понимания вопроса."
    }
  },
  {
    "DeniedAlternatives": [],
    "Files": {
      "codex/floran/floranhistory5.codex": [
        "/contentPages/2"
      ]
    },
    "Texts": {
      "Eng": "I believe it is not entirely futile to educate them - I even managed to explain to some of them how I am sentient, just as they are.\n\nSmall steps, but there's hope for them yet! I just wonder why I am the first to make these discoveries - Maybe others were simply not as cautious about their own survival.\n\nTomorrow I shall attempt to obtain a cutting specimen from a Floran who has been particularly friendly so far! Wish me luck!",
      "Rus": "И мне кажется, они даже поддаются обучению - например, я смогу объяснить некоторым из них, что я настолько же разумное создание, как и они сами.\n\nКрошечный шаг, но дающий надежду! На самом деле я удивлён тем, что я можно сказать первопроходец - но может другие недостаточно заботились о своей безопасности, чтобы потом поведать об открытиях.\n\nЗавтра я попытаюсь получить образец тканей Флоранина, который пока кажется вполне дружелюбным. Ну, ни пуха, ни пера!"<commit_msg>Сокращение<commit_after>[
  {
    "DeniedAlternatives": [],
    "Files": {
      "codex/floran/floranhistory5.codex": [
        "/title"
      ]
    },
    "Texts": {
      "Eng": "Florans in the Mist",
      "Rus": "Флораны в тумане"
    }
  },
  {
    "DeniedAlternatives": [],
    "Files": {
      "codex/floran/floranhistory5.codex": [
        "/contentPages/0"
      ]
    },
    "Texts": {
      "Eng": "For a human scientist like myself, every day among the Floran is a fascinating experience.\n\nI have spent several months now observing a typical colony of the plant-like race and have made countless groundbreaking observations.\n\nThe common opinion is that Floran are inherently savage or evil, but from my experiences I can concede that they merely lack understanding.",
      "Rus": "Каждый день среди Флоран приносит мне новые удивительные открытия.\n\nЯ наблюдаю колонию этих растениеподобных существ уже несколько месяцев, и много раз общался с её обитателями.\n\nВот что я могу сказать - расхожее мнение о том, что Флоране от природы жестоки и дики, есть не более чем плод недостаточного понимания вопроса."
    }
  },
  {
    "DeniedAlternatives": [],
    "Files": {
      "codex/floran/floranhistory5.codex": [
        "/contentPages/2"
      ]
    },
    "Texts": {
      "Eng": "I believe it is not entirely futile to educate them - I even managed to explain to some of them how I am sentient, just as they are.\n\nSmall steps, but there's hope for them yet! I just wonder why I am the first to make these discoveries - Maybe others were simply not as cautious about their own survival.\n\nTomorrow I shall attempt to obtain a cutting specimen from a Floran who has been particularly friendly so far! Wish me luck!",
      "Rus": "И мне кажется, они даже поддаются обучению - например, я смогу объяснить некоторым из них, что я настолько же разумное создание, как и они сами.\nКрошечный шаг, но дающий надежду! На самом деле я удивлён тем, что я можно сказать первопроходец - но может другие недостаточно заботились о своей безопасности, чтобы потом поведать об открытиях.\n\nЗавтра я попытаюсь получить образец тканей Флоранина, который пока кажется вполне дружелюбным. Ну, ни пуха, ни пера!"
{'fraction_non_alphanumeric': 0.08320180383314543, 'fraction_numerical': 0.002254791431792559, 'mean_word_length': 3.298449612403101, 'pattern_counts': {'":': 36, '<': 3, '<?xml version=': 0, '>': 3, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '7657403', 'n_tokens_mistral': 1513, 'n_tokens_neox': 1650, 'n_words': 555}