<commit_before><commit_msg>Added temporary file with misc g0 tests<commit_after># This test file is temporary.
# it has been placed in the main directory of Liblouis for ease of access.
# It references the local tables directly in stead of making a table query.
##########
table: [tables/unicode.dis, tables/de-g0.utb]
tests:
# Test all characters from 0x21 to 0xff
  - [" ", " "]
  - ["!", "⠖"]
  - ['"', '⠈']
  - ["#", "⠈⠼"]
  - ["$", "⠈⠎"]
  - ["%", "⠼⠚⠴"]
  - ["&", "⠐⠥"]
  - ["'", "⠠"]
  - ["(", "⠶"]
  - [")", "⠶"]
  - ["*", "⠠⠔"]
  - ["+", "⠈⠖"]
  - [",", "⠂"]
  - ["-", "⠤"]
  - [".", "⠄"]
  - ["/", "⠐⠂"]
  - ["0", "⠼⠚"]
  - ["1", "⠼⠁"]
  - ["2", "⠼⠃"]
  - ["3", "⠼⠉"]
  - ["4", "⠼⠙"]
  - ["5", "⠼⠑"]
  - ["6", "⠼⠋"]
  - ["7", "⠼⠛"]
  - ["8", "⠼⠓"]
  - ["9", "⠼⠊"]
  - [":", "⠒"]
  - [";", "⠆"]
  - ["<", "⠈⠪⠄"]
  - ["=", "⠈⠶"]
  - [">", "⠈⠕⠂"]
  - ["?", "⠢"]
  - ["@", "⠠⠨⠈⠜"]
  - ["A", "⠁"]
  - ["B", "⠃"]
  - ["C", "⠉"]
  - ["D", "⠙"]
  - ["E", "⠑"]
  - ["F", "⠋"]
  - ["G", "⠛"]
  - ["H", "⠓"]
  - ["I", "⠊"]
  - ["J", "⠚"]
  - ["K", "⠅"]
  - ["L", "⠇"]
  - ["M", "⠍"]
  - ["N", "⠝"]
  - ["O", "⠕"]
  - ["P", "⠏"]
  - ["Q", "⠟"]
  - ["R", "⠗"]
  - ["S", "⠎"]
  - ["T", "⠞"]
  - ["U", "⠥"]
  - ["V", "⠧"]
  - ["W", "⠺"]
  - ["X", "⠭"]
  - ["Y", "⠽"]
  - ["Z", "⠵"]
  - ["[", "⠠⠶"]
  - ['\\', '⠈⠌']
  - ["]", "⠠⠶"]
  - ["^", "⠈⠮"]
  - ["_", "⠈⠸"]
  - ["`", "⠜"]
  - ["a", "⠁"]
  - ["b", "⠃"]
  - ["c", "⠉"]
  - ["d", "⠙"]
  - ["e", "⠑"]
  - ["f", "⠋"]
  - ["g", "⠛"]
  - ["h", "⠓"]
  - ["i", "⠊"]
  - ["j", "⠚"]
  - ["k", "⠅"]
  - ["l", "⠇"]
  - ["m", "⠍"]
  - ["n", "⠝"]
  - ["o", "⠕"]
  - ["p", "⠏"]
  - ["q", "⠟"]
  - ["r", "⠗"]
  - ["s", "⠎"]
  - ["t", "⠞"]
  - ["u", "⠥"]
  - ["v", "⠧"]
  - ["w", "⠺"]
  - ["x", "⠭"]
  - ["y", "⠽"]
  - ["z", "⠵"]
  - ["{", "⠐⠷"]
  - ["|", "⠐⠤"]
  - ["}", "⠐⠷"]
  - ["~", " ⠈⠢⠢"]
  - ["€", "⠈⠑"]
  - ["‚", "⠠⠦"]
  - ["ƒ", "⠠ ⠭⠬⠡⠪⠣⠠"]
  - ["„", "⠦"]
  - ["…", "⠠ ⠭⠣⠬⠣⠫⠠"]
  - ["†", "⠛⠑⠎⠞⠄"]
  - ["‡", "⠠ ⠭⠣⠬⠣⠡⠠"]
  - ["ˆ", "⠠ ⠭⠬⠣⠉⠫⠠"]
  - ["‰", "⠼⠚⠴⠴"]
  - ["Š", "⠈⠎"]
  - ["‹", "⠠⠦"]
  - ["Œ", "⠕⠑"]
  - ["Ž", "⠈⠵"]
  - ["‘", "⠠⠦"]
  - ["’", "⠠⠴"]
  - ["“", "⠦"]
  - ["”", "⠴"]
  - ["•", "⠠ ⠭⠣⠬⠣⠣⠠"]
  - ["–", "⠠⠤"]
  - ["—", "⠠⠤"]
  - ["˜", "⠠ ⠭⠬⠣⠙⠉⠠"]
  - ["™", "⠠⠶⠘⠞⠍⠶"]
  - ["š", "⠈⠎"]
  - ["›", "⠠⠴"]
  - ["œ", "⠕⠑"]
  - ["ž", "⠈⠵"]
  - ["Ÿ", "⠈⠽"]
  - [" ", " "]
  - ["¡", "⠠⠖"]
  - ["¢", "⠈⠉"]
  - ["£", "⠈⠇"]
  - ["¤", " "]
  - ["¥", "⠈⠽"]
  - ["¦", "⠐⠤"]
  - ["§", "⠈⠬"]
  - ["¨", " "]
  - ["©", "⠶⠘⠉⠶"]
  - ["ª", "⠁"]
  - ["«", "⠦"]
  - ["¬", " "]
  - ["­", " "]
  - ["®", "⠠⠶⠘⠗⠶"]
  - ["¯", " "]
  - ["°", "⠈⠴"]
  - ["±", "⠈⠖⠤"]
  - ["²", "⠌⠆"]
  - ["³", "⠌⠒"]
  - ["´", " "]
  - ["µ", "⠰⠍"]
  - ["¶", " "]
  - ["·", " "]
  - ["¸", " "]
  - ["¹", " "]
  - ["º", "⠕"]
  - ["»", "⠴"]
  - ["¼", "⠼⠁⠲"]
  - ["½", "⠼⠁⠆"]
  - ["¾", "⠼⠉⠲"]
  - ["À", "⠈⠁"]
  - ["Á", "⠈⠁"]
  - ["Â", "⠈⠁"]
  - ["Ã", "⠈⠁"]
  - ["Ä", "⠜"]
  - ["Å", "⠈⠁"]
  - ["Æ", "⠁⠑"]
  - ["Ç", "⠈⠉"]
  - ["È", "⠈⠑"]
  - ["É", "⠈⠑"]
  - ["Ê", "⠈⠑"]
  - ["Ë", "⠈⠑"]
  - ["Ì", "⠈⠊"]
  - ["Í", "⠈⠊"]
  - ["Î", "⠈⠊"]
  - ["Ï", "⠈⠊"]
  - ["Ð", "⠈⠙"]
  - ["Ñ", "⠈⠝"]
  - ["Ò", "⠈⠕"]
  - ["Ó", "⠈⠕"]
  - ["Ô", "⠈⠕"]
  - ["Õ", "⠈⠕"]
  - ["Ö", "⠪"]
  - ["×", "⠈⠦"]
  - ["Ø", "⠈⠕"]
  - ["Ù", "⠈⠥"]
  - ["Ú", "⠈⠥"]
  - ["Û", "⠈⠥"]
  - ["Ü", "⠳"]
  - ["Ý", "⠈⠽"]
  - ["Þ", "⠈⠞"]
  - ["ß", "⠮"]
  - ["à", "⠈⠁"]
  - ["á", "⠈⠁"]
  - ["â", "⠈⠁"]
  - ["ã", "⠈⠁"]
  - ["ä", "⠜"]
  - ["å", "⠈⠁"]
  - ["æ", "⠁⠑"]
  - ["ç", "⠈⠉"]
  - ["è", "⠈⠑"]
  - ["é", "⠈⠑"]
  - ["ê", "⠈⠑"]
  - ["ë", "⠈⠑"]
  - ["ì", "⠈⠊"]
  - ["í", "⠈⠊"]
  - ["î", "⠈⠊"]
  - ["ï", "⠈⠊"]
  - ["ð", "⠈⠙"]
  - ["ñ", "⠈⠝"]
  - ["ò", "⠈⠕"]
  - ["ó", "⠈⠕"]
  - ["ô", "⠈⠕"]
  - ["õ", "⠈⠕"]
  - ["ö", "⠪"]
  - ["÷", "⠈⠒"]
  - ["ø", "⠈⠕"]
  - ["ù", "⠈⠥"]
  - ["ú", "⠈⠥"]
  - ["û", "⠈⠥"]
  - ["ü", "⠳"]
  - ["ý", "⠈⠽"]
  - ["þ", "⠈⠞"]
  - ["ÿ", "⠈⠽"]

# We need to test backwards separately here, as not all tests are equally relevant.
flags: {testmode: backward}
tests:
# Test all characters from 0x21 to 0xff
  - [" ", " "]
  - ["⠖", "!", {xfail: tofix}]
  - ['⠈', '"']
  - ["⠈⠼", "#"]
  - ["⠈⠎", "$", {xfail: tofix}]
  - ["⠼⠚⠴", "%", {xfail: tofix}] # Adds a space
  - ["⠐⠥", "&"]
  - ["⠠", "'"]
  - ["⠶", "(", {xfail: true}]
  - ["⠶", ")", {xfail: true}]
  - ["⠠⠔", "*"]
  - ["⠈⠖", "+", {xfail: tofix}]
  - ["⠂", ","]
  - ["⠤", "-"]
  - ["⠄", "."]
  - ["⠐⠂", "/"]
  - ["⠼⠚", "0"]
  - ["⠼⠁", "1"]
  - ["⠼⠃", "2"]
  - ["⠼⠉", "3"]
  - ["⠼⠙", "4"]
  - ["⠼⠑", "5"]
  - ["⠼⠋", "6"]
  - ["⠼⠛", "7"]
  - ["⠼⠓", "8"]
  - ["⠼⠊", "9"]
  - ["⠒", ":"]
  - ["⠆", ";"]
  - ["⠈⠪⠄", "<"]
  - ["⠈⠶", "="]
  - ["⠈⠕⠂", ">"]
  - ["⠢", "?"]
  - ["⠠⠨⠈⠜", "@"]
  - ["⠁", "A", {xfail: true}]
  - ["⠃", "B", {xfail: true}]
  - ["⠉", "C", {xfail: true}]
  - ["⠙", "D", {xfail: true}]
  - ["⠑", "E", {xfail: true}]
  - ["⠋", "F", {xfail: true}]
  - ["⠛", "G", {xfail: true}]
  - ["⠓", "H", {xfail: true}]
  - ["⠊", "I", {xfail: true}]
  - ["⠚", "J", {xfail: true}]
  - ["⠅", "K", {xfail: true}]
  - ["⠇", "L", {xfail: true}]
  - ["⠍", "M", {xfail: true}]
  - ["⠝", "N", {xfail: true}]
  - ["⠕", "O", {xfail: true}]
  - ["⠏", "P", {xfail: true}]
  - ["⠟", "Q", {xfail: true}]
  - ["⠗", "R", {xfail: true}]
  - ["⠎", "S", {xfail: true}]
  - ["⠞", "T", {xfail: true}]
  - ["⠥", "U", {xfail: true}]
  - ["⠧", "V", {xfail: true}]
  - ["⠺", "W", {xfail: true}]
  - ["⠭", "X", {xfail: true}]
  - ["⠽", "Y", {xfail: true}]
  - ["⠵", "Z", {xfail: true}]
  - ["⠠⠶", "["]
  - ['⠈⠌', '\\']
  - ["⠠⠶", "]", {xfail: true}]
  - ["⠈⠮", "^"]
  - ["⠈⠸", "_"]
  - ["⠜", "`"]
  - ["⠁", "a"]
  - ["⠃", "b"]
  - ["⠉", "c"]
  - ["⠙", "d"]
  - ["⠑", "e"]
  - ["⠋", "f"]
  - ["⠛", "g"]
  - ["⠓", "h"]
  - ["⠊", "i"]
  - ["⠚", "j"]
  - ["⠅", "k"]
  - ["⠇", "l"]
  - ["⠍", "m"]
  - ["⠝", "n"]
  - ["⠕", "o"]
  - ["⠏", "p"]
  - ["⠟", "q"]
  - ["⠗", "r"]
  - ["⠎", "s"]
  - ["⠞", "t"]
  - ["⠥", "u"]
  - ["⠧", "v"]
  - ["⠺", "w"]
  - ["⠭", "x"]
  - ["⠽", "y"]
  - ["⠵", "z"]
  - ["⠐⠷", "{"]
  - ["⠐⠤", "|", {xfail: tofix}]
  - ["⠐⠷", "}", {xfail: true}]
  - [" ⠈⠢⠢", "~"]
  - ["⠈⠑", "€", {xfail: tofix}]
  - ["⠠⠦", "‚", {xfail: tofix}]
  - ["⠦", "„", {xfail: ttofix}]
  - ["⠼⠚⠴⠴", "‰", {xfail: true}]
  - ["⠈⠎", "Š", {xfail: true}]
  - ["⠠⠦", "‹", {xfail: true}]
  - ["⠕⠑", "Œ", {xfail: true}]
  - ["⠈⠵", "Ž", {xfail: true}]
  - ["⠠⠦", "‘"]
  - ["⠠⠴", "’"]
  - ["⠦", "“", {xfail: true}]
  - ["⠴", "”", {xfail: true}]
  - ["⠠ ⠭⠣⠬⠣⠣⠠", "•", {xfail: true}]
  - ["⠠⠤", "–"]
  - ["⠠⠤", "—", {xfail: true}]
  - ["⠠ ⠭⠬⠣⠙⠉⠠", "˜", {xfail: true}]
  - ["⠠⠶⠘⠞⠍⠶", "™"]
  - ["⠈⠎", "š", {xfail: true}]
  - ["⠠⠴", "›", {xfail: true}]
  - ["⠕⠑", "œ"] # should probably be fixed to "oe"
  - ["⠈⠵", "ž", {xfail: true}]
  - ["⠈⠽", "Ÿ", {xfail: true}]
  - [" ", " "]
  - ["⠠⠖", "¡"]
  - ["⠈⠉", "¢"]
  - ["⠈⠇", "£"]
  - [" ", "¤", {xfail: true}] # apparently translated to space
  - ["⠈⠽", "¥"]
  - ["⠐⠤", "¦"]
  - ["⠈⠬", "§"]
  - [" ", "¨", {xfail: true}]
  - ["⠶⠘⠉⠶", "©"]
  - ["⠁", "ª", {xfail: true}]
  - ["⠦", "«", {xfail: true}]
  - [" ", "¬", {xfail: true}]
  - [" ", "­", {xfail: true}]
  - ["⠠⠶⠘⠗⠶", "®"]
  - [" ", "¯", {xfail: true}]
  - ["⠈⠴", "°", {xfail: tofix}]
  - ["⠈⠖⠤", "±", {xfail: true}]
  - ["⠌⠆", "²"]
  - ["⠌⠒", "³"]
  - [" ", "´", {xfail: true}]
  - ["⠰⠍", "µ"]
  - [" ", "¶", {xfail: true}]
  - [" ", "·", {xfail: true}]
  - [" ", "¸", {xfail: true}]
  - [" ", "¹", {xfail: tofix}]
  - ["⠕", "º", {xfail: true}]
  - ["⠴", "»", {xfail: true}]
  - ["⠼⠁⠲", "¼"]
  - ["⠼⠁⠆", "½"]
  - ["⠼⠉⠲", "¾"]
  - ["⠈⠁", "À", {xfail: true}]
  - ["⠈⠁", "Á", {xfail: true}]
  - ["⠈⠁", "Â", {xfail: true}]
  - ["⠈⠁", "Ã", {xfail: true}]
  - ["⠜", "Ä", {xfail: true}]
  - ["⠈⠁", "Å", {xfail: true}]
  - ["⠁⠑", "Æ", {xfail: true}]
  - ["⠈⠉", "Ç", {xfail: true}]
  - ["⠈⠑", "È", {xfail: true}]
  - ["⠈⠑", "É", {xfail: true}]
  - ["⠈⠑", "Ê", {xfail: true}]
  - ["⠈⠑", "Ë", {xfail: true}]
  - ["⠈⠊", "Ì", {xfail: true}]
  - ["⠈⠊", "Í", {xfail: true}]
  - ["⠈⠊", "Î", {xfail: true}]
  - ["⠈⠊", "Ï", {xfail: true}]
  - ["⠈⠙", "Ð", {xfail: true}]
  - ["⠈⠝", "Ñ", {xfail: true}]
  - ["⠈⠕", "Ò", {xfail: true}]
  - ["⠈⠕", "Ó", {xfail: true}]
  - ["⠈⠕", "Ô", {xfail: true}]
  - ["⠈⠕", "Õ", {xfail: true}]
  - ["⠪", "Ö", {xfail: true}]
  - ["⠈⠦", "×"]
  - ["⠈⠕", "Ø", {xfail: true}]
  - ["⠈⠥", "Ù", {xfail: true}]
  - ["⠈⠥", "Ú", {xfail: true}]
  - ["⠈⠥", "Û", {xfail: true}]
  - ["⠳", "Ü", {xfail: true}]
  - ["⠈⠽", "Ý", {xfail: true}]
  - ["⠈⠞", "Þ", {xfail: true}]
  - ["⠮", "ß", {xfail: tofix}]
  - ["⠈⠁", "à"]
  - ["⠈⠁", "á", {xfail: true}]
  - ["⠈⠁", "â", {xfail: true}]
  - ["⠈⠁", "ã", {xfail: true}]
  - ["⠜", "ä", {xfail: true}]
  - ["⠈⠁", "å", {xfail: true}]
  - ["⠁⠑", "æ"] # should probably back-translate to "ae"
  - ["⠈⠉", "ç", {xfail: true}]
  - ["⠈⠑", "è", {xfail: true}]
  - ["⠈⠑", "é", {xfail: true}]
  - ["⠈⠑", "ê", {xfail: true}]
  - ["⠈⠑", "ë", {xfail: true}]
  - ["⠈⠊", "ì"]
  - ["⠈⠊", "í", {xfail: true}]
  - ["⠈⠊", "î", {xfail: true}]
  - ["⠈⠊", "ï", {xfail: true}]
  - ["⠈⠙", "ð"]
  - ["⠈⠝", "ñ"]
  - ["⠈⠕", "ò"]
  - ["⠈⠕", "ó", {xfail: true}]
  - ["⠈⠕", "ô", {xfail: true}]
  - ["⠈⠕", "õ", {xfail: true}]
  - ["⠪", "ö", {xfail: tofix}]
  - ["⠈⠒", "÷"]
  - ["⠈⠕", "ø", {xfail: true}]
  - ["⠈⠥", "ù"]
  - ["⠈⠥", "ú", {xfail: true}]
  - ["⠈⠥", "û", {xfail: true}]
  - ["⠳", "ü", {xfail: tofix}]
  - ["⠈⠽", "ý", {xfail: true}]
  - ["⠈⠞", "þ"]
  - ["⠈⠽", "ÿ", {xfail: true}]

{'fraction_non_alphanumeric': 0.5232345013477089, 'fraction_numerical': 0.003234501347708895, 'mean_word_length': 2.111707480711171, 'pattern_counts': {'":': 2, '<': 5, '<?xml version=': 0, '>': 5, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '296902', 'n_tokens_mistral': 6568, 'n_tokens_neox': 6616, 'n_words': 1099}