<commit_before>{
  "settings": {
    "analysis": {
      "analyzer": {
        "case_insensitive_sort": {
          "tokenizer": "keyword",
          "filter": [ "lowercase" ] 
        }
      }
    }
  },
  "mappings":{
    "blob":{
      "properties":{
        "sys_blob":{
          "type":"binary",
          "store": false,
          "doc_values": false
        },
        "sys_itemid": {
          "type": "string",
          "index": "not_analyzed"
        },
        "sys_meta":{
          "type":"string",
          "index":"no"
        }
      }
    },
    "clob":{
      "properties":{<commit_msg>Default analyzer - english<commit_after>{
  "settings": {
    "analysis": {
      "analyzer": {
        "default": {
          "tokenizer": "standard",
          "filter": ["standard", "lowercase", "english_stemmer"]
        },
        "case_insensitive_sort": {
          "tokenizer": "keyword",
          "filter": ["lowercase"] 
        }
      },
      "filter": {
        "english_stemmer": {
           "type": "stemmer",
           "name": "english"
        }
      }
    }
  },
  "mappings":{
    "blob":{
      "properties":{
        "sys_blob":{
          "type":"binary",
          "store": false,
          "doc_values": false
        },
        "sys_itemid": {
          "type": "string",
          "index": "not_analyzed"
        },
        "sys_meta":{
          "type":"string",
          "index":"no"
        }
      }
    },
    "clob":{
      "properties":{
{'fraction_non_alphanumeric': 0.18463611859838275, 'fraction_numerical': 0.0, 'mean_word_length': 1.4107142857142858, 'pattern_counts': {'":': 49, '<': 3, '<?xml version=': 0, '>': 3, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '7147635', 'n_tokens_mistral': 480, 'n_tokens_neox': 458, 'n_words': 70}