<commit_before>#Clover Abstract Syntax Tree

|Node
|\ Expression
|| VariableDeclaration
|| Assignment
||\ Unary
|||\ Prefix
|||| '+'
|||| '-'
|||| '&'
|||| '*'
|||| '++'
|||| '--'
|||*
|||\ Postfix
|||| '++'
|||| '--'
||**
|| ArrayAccess
|| Variable
|| Ternary
||\ StructAccess
||| Indirect
||| Direct
||*
|| Comma
|| Function
|| Parentheses
||\ Binary
||| '+'
||| '-'
||| '*'
||| '/'
||| '&'
||| '%'
||| '^'
||| '|'
||| '||'
||| '&&'
||| '=='
||| '!='
||| '<'
||| '>'
||| '<='
||| '>='
||*
||\ Constant
||| Integer
||| Floating Point
||| Hexadecimal
||| Binary
||| Decimal
||*
|| StringLiteral
|*
|\ Argument
||\ ArgumentList
|**
|
|\ Statement
|| ExpressionStatement
||\ IfElseStatement
||| If
||| If-else
||*
|| SwitchStatement
||\ LoopStatement
||| for
||| while
||| do{}while()
||*
|| Block
||\ Declaration
||| Function
|||\ Struct
|||| struct
|||| module
|||| enum
|||| union
|||*
||| Enumeration
||| Typedef
||*
|*
<commit_msg>Added to AST<commit_after>#Clover Abstract Syntax Tree

|Node
|\ Expression
|| VariableDeclaration
||\ Assignment
||| '='
||| '+='
||| '-='
||| '*='
||| '/='
||| '%='
||| '|='
||| '^='
||| '&='
||*
||\ Unary
|||\ Prefix
|||| '+'
|||| '-'
|||| '&'
|||| '*'
|||| '++'
|||| '--'
|||*
|||\ Postfix
|||| '++'
|||| '--'
||**
|| ArrayAccess
|| Variable
|| Ternary
||\ StructAccess
||| Indirect
||| Direct
||*
|| Comma
|| Function
|| Parentheses
||\ Binary
||| '+'
||| '-'
||| '*'
||| '/'
||| '&'
||| '%'
||| '^'
||| '|'
||| '||'
||| '&&'
||| '=='
||| '!='
||| '<'
||| '>'
||| '<='
||| '>='
||*
||\ Constant
||| Integer
||| Floating Point
||| Hexadecimal
||| Binary
||| Decimal
||*
|| StringLiteral
|*
|\ Argument
||\ ArgumentList
|**
|
|\ Statement
|| ExpressionStatement
||\ IfElseStatement
||| If
||| If-else
||*
|| SwitchStatement
||\ LoopStatement
||| for
||| while
||| do{}while()
||*
|| Block
||\ Declaration
||| Function
|||\ Struct
|||| struct
|||| module
|||| enum
|||| union
|||*
||| Enumeration
||| Typedef
||*
|*

{'fraction_non_alphanumeric': 0.3790983606557377, 'fraction_numerical': 0.0, 'mean_word_length': 4.072727272727272, 'pattern_counts': {'":': 0, '<': 7, '<?xml version=': 0, '>': 7, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '595371', 'n_tokens_mistral': 866, 'n_tokens_neox': 832, 'n_words': 104}