<commit_before>
                
   UTF16_UCS2   
                

UCS-2  ==>              #L'UCS-2 est normalement obsolète et remplacé par UTF-16
                        #Néanmoins, Symbian ou Python l'utilisent.
                        #Il ne peut coder que les caractère Unicode de la BMP
                        #(U+0000 à U+FFFF).
                        #Il s'agit simplement d'utiliser des caractères de deux
                        #octets ayant pour valeur le code point Unicode
                        #Ainsi, les caractères ASCII font deux octets

UTF-16  ==>             #L'UTF-16 est utilisé par Windows (depuis Windows 2000),
                        #par Java (parfois, et parfois Modified UTF-8), .NET, 
                        #Cocoa ou Qt.
                        #En UTF-16, les caractères de la BMP sont notés comme en
                        #UCS-2
                        #Néanmoins, les caractères en dehors (plans Unicode 1 à 
                        #16) utilisent deux clefs de deux octets chacune 
                        #comprises dans l'intervalle (D800-DFFF). Ces octets 
                        #sont :
                        #
                        #  - Les deux premiers (high (ou leading) surrogate code
                        #    point) est compris dans l'intervalle D800 à DBFF
                        #    et est calculé ainsi :
                        #
                        #      int((codepoint - 10000) / 400) + D800
                        #
                        #  - Les deux derniers (low (ou trailing) surrogate code
                        #    point) est compris dans l'intervalle DC00 à DFFF
                        #    et est calculé ainsi :
                        #
                        #      (codepoint % 400) + DC00
                        #
                        #Ainsi, une paire d'octet comprise dans l'intervalle 
                        #D800 à DFFF devra être accompagnée d'une autre dans le
                        #même intervalle et sera considérée comme ne faisant pas
                        #partie de la BMP.
                        #Tout autre paire d'octet sera calculée comme en UCS-2
                        #
                        #Pour calculer un codepoint Unicode à partir de quatre
                        #octets UTF-16 :
                        #
                        #      (1ère paire - D800) * 400 + 2ème paire - 1DC00

ENDIANNESS ET           #Attention à l'indianness ! Les deux octets seront
BOM ==>                 #inversés sur une architecture little-endian.
                        #Il est nécessaire en UCS-2 (et optionnel en UTF-16)
                        #d'ajouter un BOM (Byte Order Mark) au début du document
                        #Il s'agit des deux octets FE FF (U+FEFF, ZWNBS 
                        #character, Zero-Width Non-Breaking Space, sans effet 
                        #sur le texte) qui seront lus FE FF en big endian, et 
                        #FF FE en little endian, indiquant ainsi l'indianness
                        #C'est cependant inutile en UTF-16BE, UTF-16LE, UCS-BE
                        #et UCS-2LE, encodages spécifiant eux-mêmes l'endianness

INPUT ==>               #Un caractère UCS-2 ou UTF-16 compris dans la BMP peut
                        #souvent être noté \uXXXX
                        #un caractère UTF-16 en dehors de la BMP peut souvent
                        #être noté \UXXXXXXXX (ou\uXXXX\uXXXX en Java)<commit_msg>no commit message<commit_after>
              
   UTF16_UCS2  
              

UCS-2  ==>              #L'UCS-2 est normalement obsolète et remplacé par UTF-16
                        #Néanmoins, Symbian ou Python l'utilisent.
                        #Il ne peut coder que les caractère Unicode de la BMP
                        #(U+0000 à U+FFFF).
                        #Il s'agit simplement d'utiliser des caractères de deux
                        #octets ayant pour valeur le code point Unicode
                        #Ainsi, les caractères ASCII font deux octets

UTF-16  ==>             #L'UTF-16 est utilisé par Windows (depuis Windows 2000),
                        #par Java (parfois, et parfois Modified UTF-8), .NET,
                        #Cocoa ou Qt.
                        #En UTF-16, les caractères de la BMP sont notés comme en
                        #UCS-2
                        #Néanmoins, les caractères en dehors (plans Unicode 1 à
                        #16) utilisent deux clefs de deux octets chacune
                        #comprises dans l'intervalle (D800-DFFF). Ces octets
                        #sont :
                        #
                        #  - Les deux premiers (high (ou leading) surrogate code
                        #    point) est compris dans l'intervalle D800 à DBFF
                        #    et est calculé ainsi :
                        #
                        #      int((codepoint - 10000) / 400) + D800
                        #
                        #  - Les deux derniers (low (ou trailing) surrogate code
                        #    point) est compris dans l'intervalle DC00 à DFFF
                        #    et est calculé ainsi :
                        #
                        #      (codepoint % 400) + DC00
                        #
                        #Ainsi, une paire d'octet comprise dans l'intervalle
                        #D800 à DFFF devra être accompagnée d'une autre dans le
                        #même intervalle et sera considérée comme ne faisant pas
                        #partie de la BMP.
                        #Tout autre paire d'octet sera calculée comme en UCS-2
                        #
                        #Pour calculer un codepoint Unicode à partir de quatre
                        #octets UTF-16 :
                        #
                        #      (1ère paire - D800) * 400 + 2ème paire - 1DC00

ENDIANNESS ET           #Attention à l'indianness ! Les deux octets seront
BOM ==>                 #inversés sur une architecture little-endian.
                        #Il est nécessaire en UCS-2 (et optionnel en UTF-16)
                        #d'ajouter un BOM (Byte Order Mark) au début du document
                        #Il s'agit des deux octets FE FF (U+FEFF, ZWNBS
                        #character, Zero-Width Non-Breaking Space, sans effet
                        #sur le texte) qui seront lus FE FF en big endian, et
                        #FF FE en little endian, indiquant ainsi l'indianness
                        #C'est cependant inutile en UTF-16BE, UTF-16LE, UCS-BE
                        #et UCS-2LE, encodages spécifiant eux-mêmes l'endianness

INPUT ==>               #Un caractère UCS-2 ou UTF-16 compris dans la BMP peut
                        #souvent être noté \uXXXX
                        #un caractère UTF-16 en dehors de la BMP peut souvent
                        #être noté \UXXXXXXXX (ou\uXXXX\uXXXX en Java)
{'fraction_non_alphanumeric': 0.10423186828139883, 'fraction_numerical': 0.021771669614913593, 'mean_word_length': 1.1655863288155568, 'pattern_counts': {'":': 0, '<': 3, '<?xml version=': 0, '>': 11, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 2, 'word_list_counts': {'cursed_substrings.json': 4, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '409774', 'n_tokens_mistral': 3138, 'n_tokens_neox': 2921, 'n_words': 665}