<commit_before>function convert (values) {
    var self = this;
    var schema = self.templates[self.template].schema;

    // TODO handle regExp options
    values.label = schema[values.field].label;
    var operator = self.config.operators[values.operator];

    if (typeof values.value === 'string') {

        // handle array value
        if (operator[2] === 'split') {
            var value = values.value.split(/,\s*/g);
        }

        if (values.value === 'false') {
            values.value = false;
        } else if (values.value === 'true') {
            values.value = true;
        } else if (schema[values.field].type === 'number' && !value) {
            values.value = values.value.indexOf('.') > -1 ? parseFloat(values.value) : parseInt(values.value, 10);<commit_msg>Fixed broken value spliting for  and  operators<commit_after>function convert (values) {
    var self = this;
    var schema = self.templates[self.template].schema;

    // TODO handle regExp options
    values.label = schema[values.field].label;
    var operator = self.config.operators[values.operator];

    if (typeof values.value === 'string') {

        // handle array value
        if (operator[2] === 'split') {
            var value = values.value.split(/[ ,]+/).filter(Boolean);
        }

        if (values.value === 'false') {
            values.value = false;
        } else if (values.value === 'true') {
            values.value = true;
        } else if (schema[values.field].type === 'number' && !value) {
            values.value = values.value.indexOf('.') > -1 ? parseFloat(values.value) : parseInt(values.value, 10);
{'fraction_non_alphanumeric': 0.15724815724815724, 'fraction_numerical': 0.004914004914004914, 'mean_word_length': 2.379668049792531, 'pattern_counts': {'":': 0, '<': 3, '<?xml version=': 0, '>': 5, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '5120767', 'n_tokens_mistral': 470, 'n_tokens_neox': 462, 'n_words': 112}