<commit_before>#!/usr/bin/perl

use WWW::Mechanize;
use HTML::TokeParser;

@url = (
    "http://www.assemblee-nationale.fr/13/cri/2009-2010/",
);

$a = WWW::Mechanize->new();

foreach $url (@url) {
    $a->get($url);
    $content = $a->content;
    $p = HTML::TokeParser->new(\$content);
    $cpt = 0; 
    while ($t = $p->get_tag('a')) {
	$txt = $p->get_text('/a');
	if ($txt =~ /(\d+[\Serm]+\s+\S+ance|S\S+ance uniq)/i) {
	    $a->get($t->[1]{href});
	    $file = $a->uri();
	    $file =~ s/\//_/gi;
	    $file =~ s/\#.*//;
	    #on ne peut pas quitter dès le premier, seulement au bout de 
	    #trois fois on est sur qu'il n'y a pas de nouveaux fichiers
	    if (-s "html/$file") {
		$cpt++;
		exit if ($cpt > 3);
		break;
	    }
	    $cpt = 0;
	    print "$file\n";
	    open FILE, ">:utf8", "html/$file";<commit_msg>Ne pas prendre en compte les comptes rendus provisoires<commit_after>#!/usr/bin/perl

use WWW::Mechanize;
use HTML::TokeParser;

@url = (
    "http://www.assemblee-nationale.fr/13/cri/2009-2010/",
);

$a = WWW::Mechanize->new();

foreach $url (@url) {
    $a->get($url);
    $content = $a->content;
    $p = HTML::TokeParser->new(\$content);
    $cpt = 0; 
    while ($t = $p->get_tag('a')) {
	$txt = $p->get_text('/a');
	if ($txt =~ /(\d+[\Serm]+\s+\S+ance|S\S+ance uniq)/i && $t->[1]{href} !~ /provisoire/) {
	    $a->get($t->[1]{href});
	    $file = $a->uri();
	    $file =~ s/\//_/gi;
	    $file =~ s/\#.*//;
	    #on ne peut pas quitter dès le premier, seulement au bout de 
	    #trois fois on est sur qu'il n'y a pas de nouveaux fichiers
	    if (-s "html/$file") {
		$cpt++;
		exit if ($cpt > 3);
		break;
	    }
	    $cpt = 0;
	    print "$file\n";
	    open FILE, ">:utf8", "html/$file";
{'fraction_non_alphanumeric': 0.24490983129726585, 'fraction_numerical': 0.018033740546829553, 'mean_word_length': 2.5684647302904566, 'pattern_counts': {'":': 0, '<': 3, '<?xml version=': 0, '>': 26, 'https://': 0, 'lorem ipsum': 0, 'www.': 2, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '1672012', 'n_tokens_mistral': 789, 'n_tokens_neox': 736, 'n_words': 161}