<commit_before>﻿module TestLexer (
                  testModule     -- tests the module Lexer
                 )
 where

 -- imports --
 import Test.HUnit
 import InterfaceDT                   as IDT
 import qualified Lexer
 
 -- functions --
 -- testLexer01 = "Lexer: " ~: (erwarteter wert) @=? (Lexer.process eingabe)
 -- testLexer02 = "Lexer: " ~: (erwarteter wert) @=? (Lexer.process eingabe)
 -- testLexer03 = "Lexer: " ~: (erwarteter wert) @=? (Lexer.process eingabe)
 -- testLexer04 = "Lexer: " ~: (erwarteter wert) @=? (Lexer.process eingabe)
 -- testLexer05 = "Lexer: " ~: (erwarteter wert) @=? (Lexer.process eingabe)
 -- ...
 
 testModule = [] -- [testLexer01,testLexer02,testLexer03,testLexer04,testLexer05]
                         <commit_msg>undo del+add. test files are now replaced by 'git mv'. TLexer.hs: added test cases for AST<commit_after>﻿module TLexer (
               testModule     -- tests the module Lexer
              )
 where

 -- imports --
 import Test.HUnit
 import InterfaceDT                   as IDT
 import qualified Lexer
 
 -- functions --
 -- testLexer01 = "Lexer: " ~: (erwarteter wert) @=? (Lexer.process eingabe)
 -- testLexer02 = "Lexer: " ~: (erwarteter wert) @=? (Lexer.process eingabe)
 -- testLexer03 = "Lexer: " ~: (erwarteter wert) @=? (Lexer.process eingabe)
 -- testLexer04 = "Lexer: " ~: (erwarteter wert) @=? (Lexer.process eingabe)
 -- testLexer05 = "Lexer: " ~: (erwarteter wert) @=? (Lexer.process eingabe)
 
 -- testToAST01 = "Lexer: " ~: (erwarteter wert) @=? (Lexer.process eingabe)
 -- testToAST02 = "Lexer: " ~: (erwarteter wert) @=? (Lexer.process eingabe)
 -- testToAST03 = "Lexer: " ~: (erwarteter wert) @=? (Lexer.process eingabe)
 -- testToAST04 = "Lexer: " ~: (erwarteter wert) @=? (Lexer.process eingabe)
 -- testToAST05 = "Lexer: " ~: (erwarteter wert) @=? (Lexer.process eingabe)

 -- testFromAST01 = "Lexer: " ~: (erwarteter wert) @=? (Lexer.process eingabe)
 -- testFromAST02 = "Lexer: " ~: (erwarteter wert) @=? (Lexer.process eingabe)
 -- testFromAST03 = "Lexer: " ~: (erwarteter wert) @=? (Lexer.process eingabe)
 -- testFromAST04 = "Lexer: " ~: (erwarteter wert) @=? (Lexer.process eingabe)
 -- testFromAST05 = "Lexer: " ~: (erwarteter wert) @=? (Lexer.process eingabe)

 -- ...
 
 testModule = [] --[testLexer01,testLexer02,testLexer03,testLexer04,testLexer05,
                 --testToAST01,testToAST02,testToAST03,testToAST04,testToAST05,
                 --testFromAST01,testFromAST02,testFromAST03,testFromAST04,testFromAST05]
                         
{'fraction_non_alphanumeric': 0.16055226824457594, 'fraction_numerical': 0.03155818540433925, 'mean_word_length': 2.9135802469135803, 'pattern_counts': {'":': 0, '<': 3, '<?xml version=': 0, '>': 3, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '7342728', 'n_tokens_mistral': 1034, 'n_tokens_neox': 931, 'n_words': 179}