<commit_before>var bot = require('nodemw'),
    Parsoid = require('parsoid'),
    html2text = require('html-to-text');//,
    //client;
    
// module.exports = {
//     convert : function(article){
        
//         return new Promise(function(resolve,reject){
//             if(!client){
//                 throw error('Client not initialized. see setWiki.');
//             }
            
//             client.getArticle(article, function(err, data) {
//                 if (err) {
//                     reject(Error(err));
//                 }
//                 Parsoid.parse(data, { document: true }).then(function(res) {
//                     resolve(html2text.fromString(res.out.outerHTML, {
//                         wordwrap: 100
//                     }));
//                 }).done();
//             });
//         });
//     },
//     setWiki: function(url, path){
//         client = new bot({
//             server: url,
//             path: path,
//             debug: false
//         });
//     }
// }

// module.exports = function(url, path){
    
//     this.client =  new bot({
//             server: url,
//             path: path,
//             debug: false
//     });
    
//     return {
//         convert = function(article){ 
//             return new Promise(function(resolve,reject){
                
//                 this.client.getArticle(article, function(err, data) {
//                     if (err) {
//                         reject(Error(err));
//                     }
//                     Parsoid.parse(data, { document: true }).then(function(res) {
//                         resolve(html2text.fromString(res.out.outerHTML, {
//                             wordwrap: 100
//                         }));
//                     }).done();
//                 });
//             });
//         }
//     }
// }


var Wiki2Text = function (url, path) {
    
    this.client =  new bot({
            server: url,
            path: path,
            debug: false
    });
};

Wiki2Text.prototype.convert = function(article){
    
    var client = this.client;
    
    return new Promise(function(resolve,reject){
                
        client.getArticle(article, function(err, data) {
            if (err) {
                reject(Error(err));
            }<commit_msg>removed stupid comment<commit_after>var bot = require('nodemw'),
    Parsoid = require('parsoid'),
    html2text = require('html-to-text');
    
var Wiki2Text = function (url, path) {
    
    this.client =  new bot({
            server: url,
            path: path,
            debug: false
    });
};

Wiki2Text.prototype.convert = function(article){
    
    var client = this.client;
    
    return new Promise(function(resolve,reject){
                
        client.getArticle(article, function(err, data) {
            if (err) {
                reject(Error(err));
            }
{'fraction_non_alphanumeric': 0.14738292011019283, 'fraction_numerical': 0.0048209366391184574, 'mean_word_length': 1.1662938105891125, 'pattern_counts': {'":': 0, '<': 3, '<?xml version=': 0, '>': 3, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '2708778', 'n_tokens_mistral': 796, 'n_tokens_neox': 772, 'n_words': 144}