<commit_before>
               
   BUFFERING   
               

BUFFERING ==>           #La plupart des commandes Unix sont buffered. Par
                        #défaut :
                        #  - stdin est full-buffered
                        #  - stdout est line-buffered dans un terminal, sinon 
                        #    full-buffered.
                        #  - stderr est unbuffered
                        #La buffer size est par défaut la page size (4Ko 
                        #souvent), et 1Ko dans un terminal.
                        #Cependant, cela ne se voit pas car le buffer est de
                        #toute façon vidé lors de son exit. Or, cela peut se
                        #voir dans des cas particuliers comme un input qui
                        #arrive en temps réel (venant d'une commande qui ne se
                        #termine pas, et continue son exécution), par exemple :
                        #  - tail -f FILE | grep | awk
                        #Ici tail -f est line-buffered en output, mais grep est
                        #full-buffered, ce qui bloque awk.
                        #Une solution est alors d'utiliser une option de la
                        #commande pour la faire unbuffered (grep, sed, awk) ou 
                        #stdbuf, ou une commande de la commande permettant de 
                        #vider le buffer (par exemple fflush() de awk)<commit_msg>no commit message<commit_after>
             
   BUFFERING  
             

BUFFERING ==>           #La plupart des commandes Unix sont buffered. Par
                        #défaut :
                        #  - stdin est full-buffered
                        #  - stdout est line-buffered dans un terminal, sinon
                        #    full-buffered.
                        #  - stderr est unbuffered
                        #La buffer size est par défaut la page size (4Ko
                        #souvent), et 1Ko dans un terminal.
                        #Cependant, cela ne se voit pas car le buffer est de
                        #toute façon vidé lors de son exit. Or, cela peut se
                        #voir dans des cas particuliers comme un input qui
                        #arrive en temps réel (venant d'une commande qui ne se
                        #termine pas, et continue son exécution), par exemple :
                        #  - tail -f FILE | grep | awk
                        #Ici tail -f est line-buffered en output, mais grep est
                        #full-buffered, ce qui bloque awk.
                        #Une solution est alors d'utiliser une option de la
                        #commande pour la faire unbuffered (grep, sed, awk) ou
                        #stdbuf, ou une commande de la commande permettant de
                        #vider le buffer (par exemple fflush() de awk)
{'fraction_non_alphanumeric': 0.1608628659476117, 'fraction_numerical': 0.0012326656394453005, 'mean_word_length': 1.3590116279069768, 'pattern_counts': {'":': 0, '<': 3, '<?xml version=': 0, '>': 5, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '2990006', 'n_tokens_mistral': 1874, 'n_tokens_neox': 1807, 'n_words': 305}