<commit_before>/**
 * 对查询出的原始数据进行再处理
 * 例如分页排序等
 */

var pool = require('./pool.js');
var partition = require('./partition.js');
var create = require('./create.js');

var util = require('../util.js');


/******************************************
 * 生成SQL插入语句
 * @param object 操作数据对象（已验证） 
 */
var query = exports.query = function(obj, type, query, callback){

	if(!query.sql){
		return callback(null, []);
	}

	var step = 0
	  , single = typeof query.sql=='string' 
	  , datas = []
	  , all = single ? 1 : query.sql.length
	  , sqls = single ? [query.sql] : query.sql
	  , join_data = false //表示未进行联查
	  ;

	//是否可以提前联表查询
	if(type!='insert'){
		var join_adt = check_advance_join(obj);
		if(join_adt){
			log('加一步联查');
			all += 1; //加一步联查
			join_query(obj, type, join_adt, stepback);
		}
	}

	//执行sql请求，并行执行SQL
	for(var s in sqls){ 
		query_one(sqls[s]);
	}

	// 执行一个sql语句
	function query_one(sql){
		if(!sql){
			return stepback(null, []);
		}
		// 执行sql请求
		pool.query(sql, query.db, function(err, data){
			if(err){ //返回错误
				return stepback(err);
			}
			return stepback(null, data);
		});
	}
	// sql请求完成
	// is_join 是否是联查数据
	function stepback(err, data, is_join){
		if(err){ //出错
			return callback(err);
		}
		step++;
		if(is_join){ //null 表示已经进行了联查
			join_data = data ? data : null;
		}else{
			datas.push(data);
		}
		if(step==all){
			// 完成所有请求 集中处理数据
			var tbcnf = partition.get_table_conf(obj._table);
			return process[type](datas, obj, query, tbcnf, callback, join_data);
		}
	}




}


/**
 * 数据后期处理操作
 */
var process = {};


/**
 * 插入数据 后续处理
 */
process.insert = function(datas, obj, query, tcnf, callback){
	/*
	{ fieldCount: 0,
		affectedRows: 1,
		insertId: 1,
		serverStatus: 2,
		warningCount: 1,
		message: '',
		protocol41: true,
		changedRows: 0 }
	*/

	//插入失败
	if(!datas || !datas[0] || !data[0].insertId>0){
		return callback(util.errWrap('Can\'t insert: '+query.table));
	}
	data = datas[0];	// 检查自增值是否超出范围
	var insertId = data.insertId
	  , max = tcnf.section*(query.partition_index+1);
	if(insertId<=max){
		// 没有超过分区容量，直接返回
		return join_insert(data);
	}
	//超出分区容量，删除上条插入，新建分区，重新插入
	partition.append(tcnf.table, query.partition_index+1, tcnf.db, function(err, newtable)
	{
		if(err){
			return callback(err);
		}<commit_msg>bugfix<commit_after>/**
 * 对查询出的原始数据进行再处理
 * 例如分页排序等
 */

var pool = require('./pool.js');
var partition = require('./partition.js');
var create = require('./create.js');

var util = require('../util.js');


/******************************************
 * 生成SQL插入语句
 * @param object 操作数据对象（已验证） 
 */
var query = exports.query = function(obj, type, query, callback){

	if(!query.sql){
		return callback(null, []);
	}

	var step = 0
	  , single = typeof query.sql=='string' 
	  , datas = []
	  , all = single ? 1 : query.sql.length
	  , sqls = single ? [query.sql] : query.sql
	  , join_data = false //表示未进行联查
	  ;

	//是否可以提前联表查询
	if(type!='insert'){
		var join_adt = check_advance_join(obj);
		if(join_adt){
			log('加一步联查');
			all += 1; //加一步联查
			join_query(obj, type, join_adt, stepback);
		}
	}

	//执行sql请求，并行执行SQL
	for(var s in sqls){ 
		query_one(sqls[s]);
	}

	// 执行一个sql语句
	function query_one(sql){
		if(!sql){
			return stepback(null, []);
		}
		// 执行sql请求
		pool.query(sql, query.db, function(err, data){
			if(err){ //返回错误
				return stepback(err);
			}
			return stepback(null, data);
		});
	}
	// sql请求完成
	// is_join 是否是联查数据
	function stepback(err, data, is_join){
		if(err){ //出错
			return callback(err);
		}
		step++;
		if(is_join){ //null 表示已经进行了联查
			join_data = data ? data : null;
		}else{
			datas.push(data);
		}
		if(step==all){
			// 完成所有请求 集中处理数据
			var tbcnf = partition.get_table_conf(obj._table);
			return process[type](datas, obj, query, tbcnf, callback, join_data);
		}
	}




}


/**
 * 数据后期处理操作
 */
var process = {};


/**
 * 插入数据 后续处理
 */
process.insert = function(datas, obj, query, tcnf, callback){
	/*
	{ fieldCount: 0,
		affectedRows: 1,
		insertId: 1,
		serverStatus: 2,
		warningCount: 1,
		message: '',
		protocol41: true,
		changedRows: 0 }
	*/

	//插入失败
	if(!datas || !datas[0] || !datas[0].insertId>0){
		return callback(util.errWrap('Can\'t insert: '+query.table));
	}
	data = datas[0];	// 检查自增值是否超出范围
	var insertId = data.insertId
	  , max = tcnf.section*(query.partition_index+1);
	if(insertId<=max){
		// 没有超过分区容量，直接返回
		return join_insert(data);
	}
	//超出分区容量，删除上条插入，新建分区，重新插入
	partition.append(tcnf.table, query.partition_index+1, tcnf.db, function(err, newtable)
	{
		if(err){
			return callback(err);
		}
{'fraction_non_alphanumeric': 0.19343389529724933, 'fraction_numerical': 0.0075421472937000885, 'mean_word_length': 3.3231064237775647, 'pattern_counts': {'":': 0, '<': 5, '<?xml version=': 0, '>': 5, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '467615', 'n_tokens_mistral': 2161, 'n_tokens_neox': 2064, 'n_words': 348}