<commit_before>/**
 * Este documento servirá como um helper de utilidades, para executar tarefas que não se adequam aos outros objetos
 */

var util = {
	initialize: function(){
		//variável responsável por manter uma cópia do html, mas substituindo as imagens pelo seu base64
		this.htmlContent = '';
	},

	//processar cxonteúdo html, e gerar has das imagens para armazenamento offline
	processarImagens: function(conteudo){
		rex = /<img[^>]+src="(http|https|ftp):\/\/([^">]+)/g; //extrair todas as tags de imagem
		//results = rex.exec( conteudo );
		results = conteudo.match( rex );

		regex2 = /src="(.*)/; //extrair apenas o src

		//armazenando o html
		util.htmlContent = conteudo;

		for( var i = 0; i < results.length; i++ )
		{	
			var src = regex2.exec(results[i]);

			if(src != null)
			{
				src = String(src);
				src = src.split(',');

				//carregando o conteúdo em base64
				util.getBase64FromImageUrl(src[1]);
			}
		}
	},

	//função para converter a imagem em base 64
	getBase64FromImageUrl: function(URL) {
	    var img = new Image();
	    img.crossOrigin = "Anonymous";
	    img.src = URL;

	    img.onload = function () {
		    var canvas = document.createElement("canvas");
		    canvas.width = img.width;
		    canvas.height = img.height;

		    var ctx = canvas.getContext("2d");
		    ctx.drawImage(img, 0, 0);

		    $("#app").append(canvas);

		    var dataURL = canvas.toDataURL("image/png", 1.0);

		    //alert(  dataURL.replace(/^data:image\/(png|jpg);base64,/, ""));

		    //base64 = dataURL.replace(/^data:image\/(png|jpg);base64,/, "");

		    //substituindo a url no html pelo base64
		    util.htmlContent = util.htmlContent.replace('src="' + URL + '"', 'src="' + dataURL + '"');

		    alert( util.htmlContent );
	    }
	}
}<commit_msg>- Adicionados novos testes para armazenamento offline de imagens;<commit_after>/**
 * Este documento servirá como um helper de utilidades, para executar tarefas que não se adequam aos outros objetos
 */

var util = {
	initialize: function(){
		//variável responsável por manter uma cópia do html, mas substituindo as imagens pelo seu base64
		this.htmlContent = '';
	},

	//processar cxonteúdo html, e gerar has das imagens para armazenamento offline
	processarImagens: function(conteudo){
		rex = /<img[^>]+src="(http|https|ftp):\/\/([^">]+)/g; //extrair todas as tags de imagem
		//results = rex.exec( conteudo );
		results = conteudo.match( rex );

		regex2 = /src="(.*)/; //extrair apenas o src

		//armazenando o html
		util.htmlContent = conteudo;

		for( var i = 0; i < results.length; i++ )
		{	
			var src = regex2.exec(results[i]);

			if(src != null)
			{
				src = String(src);
				src = src.split(',');

				//carregando o conteúdo em base64
				util.getBase64FromImageUrl(src[1]);
			}
		}
	},

	//função para converter a imagem em base 64
	getBase64FromImageUrl: function(URL) {
		URL = 'http://upload.wikimedia.org/wikipedia/commons/4/4a/Logo_2013_Google.png';

	    var canvas = document.createElement('CANVAS');
		var ctx = canvas.getContext('2d');
		var img = new Image;
		img.crossOrigin = 'Anonymous';
		
		img.onload = function(){
			canvas.height = img.height;
			canvas.width = img.width;
		  	ctx.drawImage(img,0,0);
		  	var dataURL = canvas.toDataURL('image/png');
		  	//callback.call(this, dataURL);
	        // Clean up
		  	canvas = null; 

		  	//substituindo a url no html pelo base64
		    util.htmlContent = util.htmlContent.replace('src="' + URL + '"', 'src="' + dataURL + '"');

		    $("#app").append(dataURL);
		};

		img.src = URL;
	}
}
{'fraction_non_alphanumeric': 0.15588069780528982, 'fraction_numerical': 0.014631401238041642, 'mean_word_length': 3.0489749430523916, 'pattern_counts': {'":': 0, '<': 7, '<?xml version=': 0, '>': 7, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '5646874', 'n_tokens_mistral': 1414, 'n_tokens_neox': 1214, 'n_words': 317}