<commit_before>
Protokoll
#########

Alle Bytes an Nutzdaten werden als zwei Bytes im Protokoll BigEndian codiert,
wobei die ersten 2 Bits Metadaten enthalten und die anderen Bits einen Teil
der Nutzdaten.

Meta Codes
==========
Zwei Bit lang:

00 : Anfang der ersten Zahl im Datensatz
01 : Anfang einer Zahl
10 : Nicht erster Teil einer Zahl
11 : Ende der letzten Zahl im Datensatz

Vier Bit lang:

Die vorderen zwei Bits sind wie im 2 Bits langen MetaCode, die anderen zwei
Bits markieren

=== 2-Byte-Datentypen: short, unsigned short
Gesamt: 2 Bytes = 16 Bits
xxxxxxxx xxxxxxxx

wird zu

Gesamt: 3 Bytes = 24 Bits
Metadaten: 6 Bits
Ungenutzt: 2 Bits (Bit 3 und 4 im letzten Byte)
yyxxxxxx yyxxxxxx yy00xxxx 
<commit_msg>protocol spec: two new types<commit_after>
Protokoll
#########

Alle Bytes an Nutzdaten werden als zwei Bytes im Protokoll BigEndian codiert,
wobei die ersten 2 Bits Metadaten enthalten und die anderen Bits einen Teil
der Nutzdaten.

Meta Codes
==========
Zwei Bit lang:

00 : Anfang der ersten Zahl im Datensatz
01 : Anfang einer Zahl
10 : Nicht erster Teil einer Zahl
11 : Ende der letzten Zahl im Datensatz

Vier Bit lang:

Die vorderen zwei Bits sind wie im 2 Bits langen MetaCode, die anderen zwei
Bits markieren

=== 6Bit
Gesamt: 6 Bits
00xxxxxx

wird zu

Gesamt: 1 Byte = 8 Bits
Metadaten: 2 Bits
yyxxxxxx

=== 1-Byte
Gesamt: 1 Byte = 8 Bits
xxxxxxxx

wird zu

Gesamt: 2 Bytes = 16 Bits
Metadaten: 4 Bits
Ungenutzt: 4 Bits
yy00xxxx yy00xxxx

=== 2-Byte-Datentypen: short, unsigned short
Gesamt: 2 Bytes = 16 Bits
xxxxxxxx xxxxxxxx

wird zu

Gesamt: 3 Bytes = 24 Bits
Metadaten: 6 Bits
Ungenutzt: 2 Bits (Bit 3 und 4 im letzten Byte)
yyxxxxxx yyxxxxxx yy00xxxx 

{'fraction_non_alphanumeric': 0.06505026611472502, 'fraction_numerical': 0.0384387936132466, 'mean_word_length': 4.304075235109718, 'pattern_counts': {'":': 0, '<': 3, '<?xml version=': 0, '>': 3, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 5, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '1419442', 'n_tokens_mistral': 695, 'n_tokens_neox': 661, 'n_words': 264}