<commit_before>#N canvas 0 22 1440 852 10;
#X floatatom 418 625 5 0 0 0 - - -;
#X obj 375 690 zl slice;
#X floatatom 564 268 0 0 0 0 - - -;
#X floatatom 526 268 0 0 0 0 - - -;
#X floatatom 602 267 0 0 0 0 - - -;
#X obj 526 241 ctlin;
#X msg 665 543 36;
#X msg 715 567 37;
#X obj 353 653 zl slice;
#X obj 598 573 abstract_test;
#X obj 404 749 print;
#X obj 588 386 t b f b b;
#X obj 652 596 abstract_test;
#X obj 695 635 abstract_test;
#X obj 723 677 abstract_test;
#X obj 733 717 abstract_test;
#X obj 746 762 abstract_test;
#X obj 754 801 abstract_test;
#X obj 761 843 abstract_test;
#X msg 766 610 38;
#X msg 803 647 39;
#X msg 820 688 40;
#X msg 828 739 41;
#X msg 842 779 42;
#X msg 848 821 43;
#X obj 671 924 abstract_test;
#X obj 725 947 abstract_test;
#X obj 768 986 abstract_test;
#X obj 796 1028 abstract_test;
#X obj 806 1068 abstract_test;
#X obj 819 1113 abstract_test;
#X obj 827 1152 abstract_test;
#X obj 834 1194 abstract_test;
#X msg 738 894 44;
#X msg 788 918 45;
#X msg 839 961 46;
#X msg 876 998 47;
#X msg 893 1039 48;
#X msg 901 1090 49;
#X msg 915 1130 50;
#X msg 921 1172 51;
#X obj 607 474 unpack s s s s s s s s s s s s s s s s;
#X msg 567 549 20;
#X obj 485 471 * 4;
#X obj 328 311 textfile;
#X obj 303 139 bng 15 250 50 0 empty empty empty 17 7 0 10 -262144
-1 -1;
#X msg 368 268 rewind;
#X obj 274 260 until;
#X obj 308 200 t b b b b b;
#X obj 285 363 list-extend;
#X msg 1015 142;
#X msg 371 236 read pd_list.txt;
#X connect 0 0 8 1;
#X connect 1 0 41 0;
#X connect 3 0 11 0;
#X connect 5 0 3 0;
#X connect 5 1 2 0;
#X connect 5 2 4 0;
#X connect 6 0 9 1;
#X connect 7 0 12 1;
#X connect 8 1 1 0;
#X connect 11 0 49 0;
#X connect 11 1 43 0;
#X connect 11 3 42 0;
#X connect 11 3 6 0;
#X connect 11 3 7 0;
#X connect 11 3 20 0;
#X connect 11 3 19 0;
#X connect 11 3 21 0;
#X connect 11 3 22 0;
#X connect 11 3 23 0;
#X connect 11 3 24 0;
#X connect 11 3 33 0;
#X connect 11 3 34 0;
#X connect 11 3 35 0;
#X connect 11 3 36 0;
#X connect 11 3 37 0;
#X connect 11 3 38 0;
#X connect 11 3 39 0;
#X connect 11 3 40 0;
#X connect 19 0 13 1;
#X connect 20 0 14 1;
#X connect 21 0 15 1;
#X connect 22 0 16 1;
#X connect 23 0 17 1;
#X connect 24 0 18 1;
#X connect 33 0 25 1;
#X connect 34 0 26 1;
#X connect 35 0 27 1;
#X connect 36 0 28 1;
#X connect 37 0 29 1;
#X connect 38 0 30 1;
#X connect 39 0 31 1;
#X connect 40 0 32 1;
#X connect 41 0 9 0;
#X connect 41 1 12 0;
#X connect 41 2 13 0;
#X connect 41 3 14 0;
#X connect 41 4 15 0;
#X connect 41 5 16 0;
#X connect 41 6 17 0;
#X connect 41 7 18 0;
#X connect 41 8 25 0;
#X connect 41 9 26 0;
#X connect 41 10 27 0;
#X connect 41 11 28 0;
#X connect 41 12 29 0;
#X connect 41 13 30 0;
#X connect 41 14 31 0;
#X connect 41 15 32 0;
#X connect 42 0 1 1;
#X connect 43 0 0 0;
#X connect 44 0 49 0;
#X connect 44 1 47 1;
#X connect 45 0 48 0;
#X connect 46 0 44 0;
#X connect 47 0 44 0;
#X connect 48 2 47 0;
#X connect 48 3 46 0;
#X connect 48 4 51 0;
#X connect 48 4 49 1;
#X connect 49 0 8 0;
#X connect 51 0 44 0;<commit_msg>bump up scan rate, cleanup<commit_after>#N canvas 0 22 1440 852 10;
#X floatatom 418 625 5 0 0 0 - - -;
#X obj 375 690 zl slice;
#X floatatom 564 268 0 0 0 0 - - -;
#X floatatom 526 268 0 0 0 0 - - -;
#X floatatom 602 267 0 0 0 0 - - -;
#X obj 526 241 ctlin;
#X msg 665 543 36;
#X msg 715 567 37;
#X obj 353 653 zl slice;
#X obj 598 573 abstract_test;
#X obj 404 749 print;
#X obj 588 386 t b f b b;
#X obj 652 596 abstract_test;
#X obj 695 635 abstract_test;
#X obj 723 677 abstract_test;
#X obj 733 717 abstract_test;
#X obj 746 762 abstract_test;
#X obj 754 801 abstract_test;
#X obj 761 843 abstract_test;
#X msg 766 610 38;
#X msg 803 647 39;
#X msg 820 688 40;
#X msg 828 739 41;
#X msg 842 779 42;
#X msg 848 821 43;
#X obj 671 924 abstract_test;
#X obj 725 947 abstract_test;
#X obj 768 986 abstract_test;
#X obj 796 1028 abstract_test;
#X obj 806 1068 abstract_test;
#X obj 819 1113 abstract_test;
#X obj 827 1152 abstract_test;
#X obj 834 1194 abstract_test;
#X msg 738 894 44;
#X msg 788 918 45;
#X msg 839 961 46;
#X msg 876 998 47;
#X msg 893 1039 48;
#X msg 901 1090 49;
#X msg 915 1130 50;
#X msg 921 1172 51;
#X obj 607 474 unpack s s s s s s s s s s s s s s s s;
#X msg 567 549 20;
#X obj 328 311 textfile;
#X obj 303 139 bng 15 250 50 0 empty empty empty 17 7 0 10 -262144
-1 -1;
#X msg 368 268 rewind;
#X obj 274 260 until;
#X obj 308 200 t b b b b b;
#X obj 285 363 list-extend;
#X msg 371 236 read pd_list.txt;
#X obj 485 471 * 8;
#X connect 0 0 8 1;
#X connect 1 0 41 0;
#X connect 3 0 11 0;
#X connect 5 0 3 0;
#X connect 5 1 2 0;
#X connect 5 2 4 0;
#X connect 6 0 9 1;
#X connect 7 0 12 1;
#X connect 8 1 1 0;
#X connect 11 0 48 0;
#X connect 11 1 50 0;
#X connect 11 3 42 0;
#X connect 11 3 6 0;
#X connect 11 3 7 0;
#X connect 11 3 20 0;
#X connect 11 3 19 0;
#X connect 11 3 21 0;
#X connect 11 3 22 0;
#X connect 11 3 23 0;
#X connect 11 3 24 0;
#X connect 11 3 33 0;
#X connect 11 3 34 0;
#X connect 11 3 35 0;
#X connect 11 3 36 0;
#X connect 11 3 37 0;
#X connect 11 3 38 0;
#X connect 11 3 39 0;
#X connect 11 3 40 0;
#X connect 19 0 13 1;
#X connect 20 0 14 1;
#X connect 21 0 15 1;
#X connect 22 0 16 1;
#X connect 23 0 17 1;
#X connect 24 0 18 1;
#X connect 33 0 25 1;
#X connect 34 0 26 1;
#X connect 35 0 27 1;
#X connect 36 0 28 1;
#X connect 37 0 29 1;
#X connect 38 0 30 1;
#X connect 39 0 31 1;
#X connect 40 0 32 1;
#X connect 41 0 9 0;
#X connect 41 1 12 0;
#X connect 41 2 13 0;
#X connect 41 3 14 0;
#X connect 41 4 15 0;
#X connect 41 5 16 0;
#X connect 41 6 17 0;
#X connect 41 7 18 0;
#X connect 41 8 25 0;
#X connect 41 9 26 0;
#X connect 41 10 27 0;
#X connect 41 11 28 0;
#X connect 41 12 29 0;
#X connect 41 13 30 0;
#X connect 41 14 31 0;
#X connect 41 15 32 0;
#X connect 42 0 1 1;
#X connect 43 0 48 0;
#X connect 43 1 46 1;
#X connect 44 0 47 0;
#X connect 45 0 43 0;
#X connect 46 0 43 0;
#X connect 47 2 46 0;
#X connect 47 3 45 0;
#X connect 47 4 49 0;
#X connect 47 4 48 1;
#X connect 48 0 8 0;
#X connect 49 0 43 0;
#X connect 50 0 0 0;
{'fraction_non_alphanumeric': 0.0895, 'fraction_numerical': 0.2715, 'mean_word_length': 2.869116698903933, 'pattern_counts': {'":': 0, '<': 3, '<?xml version=': 0, '>': 3, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 2, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '638462', 'n_tokens_mistral': 4007, 'n_tokens_neox': 2503, 'n_words': 1491}