<commit_before>const Twitter = require('twitter-node-client').Twitter;
const config = require('config');
const async = require('async');
var md5 = require('md5');
var parse = require('./parse.js');
var db = require('./cassandraclt.js');

//エラー表示ハンドラー
var error = function (err, response, body) {
        console.log('ERROR [%s]', err);
};

//ツィート表示ハンドラー
var success = function (data) {
    var ans = JSON.parse(data);
    var stats = ans.statuses;
    //console.log( "%s",ans.statuses);
    async.each(stats, function (element, next) {
        
        //ポストIDを文書から作成
        var postId = md5(element.text); 
        

        //MS TextAnalyzerによる解析
        element.postId = postId;
        parse.txtanalyze(element, function(data){
            var phrases = JSON.parse(data);
            if (typeof(phrases) != "undefined") {
                console.log(phrases.documents);
            }
            //cassandraに挿入
            // db.insert({
            //     id: postId,<commit_msg>仮コミット<commit_after>const Twitter = require('twitter-node-client').Twitter;
const config = require('config');
const async = require('async');
var md5 = require('md5');
var parse = require('./parse.js');
var db = require('./cassandraclt.js');

//エラー表示ハンドラー
var error = function (err, response, body) {
        console.log('ERROR [%s]', err);
};

//ツィート表示ハンドラー
var success = function (data) {
    var ans = JSON.parse(data);
    var stats = ans.statuses;
    //console.log( "%s",ans.statuses);
    async.each(stats, function (element, next) {
        
        //ポストIDを文書から作成
        var postId = md5(element.text); 
        

        //MS TextAnalyzerによる解析
        element.postId = postId;
        parse.txtanalyze(element, function(data){
            var phrases = JSON.parse(data);
            if (typeof(phrases) != "undefined") {
                console.log("type:[%s], value:[%s]",typeof(phrases.documents),phrases.documents);
            }
            //cassandraに挿入
            // db.insert({
            //     id: postId,
{'fraction_non_alphanumeric': 0.15606361829025844, 'fraction_numerical': 0.002982107355864811, 'mean_word_length': 2.3054187192118225, 'pattern_counts': {'":': 0, '<': 3, '<?xml version=': 0, '>': 3, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '5244377', 'n_tokens_mistral': 682, 'n_tokens_neox': 666, 'n_words': 132}