<commit_before>TRANSLATION_1=A B ||| 1 2 
TRANSLATION_2=A B C ||| 1 2 3 
TRANSLATION_3=A B C ||| 1 2 3 
TRANSLATION_4=A B C ||| 1 2 3 
TRANSLATION_5=C D E X ||| 1234 3 4 5 
TRANSLATION_6=A ||| 1 
TRANSLATION_7=' ||| ' 
LMLOAD_TIME ~ 0.000
PTLOAD_TIME ~ 0.000
SCORE_1 = 1.090
SCORE_2 = 2.004
SCORE_3 = 2.004
SCORE_4 = 2.004
SCORE_5 = -0.233
SCORE_6 = -1.851
SCORE_7 = -196.549
TRANSLATION_0_NBEST_1=1 2 ||| d: 0 lm: -4.30484 w: -2 I: 0 tm: -4.60517 -4.60517
TRANSLATION_0_NBEST_2=2 1 ||| d: -3 lm: -9.70915 w: -2 I: 0 tm: -4.60517 -4.60517
TRANSLATION_1_NBEST_1=1 2 3 ||| d: 0 lm: -6.08823 w: -3 I: 0 tm: -6.90776 -6.90776
TRANSLATION_1_NBEST_2=12 3 ||| d: 0 lm: -7.98575 w: -2 I: 0 tm: -4.60517 -4.60517
TRANSLATION_1_NBEST_3=2 3 1 ||| d: -2 lm: -9.26988 w: -3 I: 0 tm: -6.90776 -6.90776
TRANSLATION_1_NBEST_4=1 3 2 ||| d: -2 lm: -10.7767 w: -3 I: 0 tm: -6.90776 -6.90776
TRANSLATION_1_NBEST_5=3 1 2 ||| d: -3 lm: -10.9714 w: -3 I: 0 tm: -6.90776 -6.90776
TRANSLATION_1_NBEST_6=2 1 3 ||| d: -1 lm: -13.645 w: -3 I: 0 tm: -6.90776 -6.90776
TRANSLATION_1_NBEST_7=3 12 ||| d: -3 lm: -10.0318 w: -2 I: 0 tm: -4.60517 -4.60517
TRANSLATION_1_NBEST_8=3 2 1 ||| d: -4 lm: -12.57 w: -3 I: 0 tm: -6.90776 -6.90776
TRANSLATION_2_NBEST_1=1 2 3 ||| d: 0 lm: -6.08823 w: -3 I: 0 tm: -6.90776 -6.90776
TRANSLATION_2_NBEST_2=2 3 1 ||| d: -2 lm: -9.26988 w: -3 I: 0 tm: -6.90776 -6.90776
TRANSLATION_2_NBEST_3=1 3 2 ||| d: -2 lm: -10.7767 w: -3 I: 0 tm: -6.90776 -6.90776
TRANSLATION_2_NBEST_4=3 1 2 ||| d: -3 lm: -10.9714 w: -3 I: 0 tm: -6.90776 -6.90776
TRANSLATION_2_NBEST_5=2 1 3 ||| d: -1 lm: -13.645 w: -3 I: 0 tm: -6.90776 -6.90776
TRANSLATION_2_NBEST_6=3 2 1 ||| d: -4 lm: -12.57 w: -3 I: 0 tm: -6.90776 -6.90776
TRANSLATION_3_NBEST_1=1 2 3 ||| d: 0 lm: -6.08823 w: -3 I: 0 tm: -6.90776 -6.90776
TRANSLATION_3_NBEST_2=1 3 2 ||| d: -1 lm: -10.7767 w: -3 I: 0 tm: -6.90776 -6.90776
TRANSLATION_3_NBEST_3=1 12 ||| d: 0 lm: -9.28642 w: -2 I: 0 tm: -4.60517 -4.60517
TRANSLATION_3_NBEST_4=2 3 1 ||| d: -3 lm: -9.26988 w: -3 I: 0 tm: -6.90776 -6.90776
TRANSLATION_3_NBEST_5=3 1 2 ||| d: -3 lm: -10.9714 w: -3 I: 0 tm: -6.90776 -6.90776
TRANSLATION_3_NBEST_6=12 1 ||| d: -3 lm: -8.59503 w: -2 I: 0 tm: -4.60517 -4.60517
TRANSLATION_3_NBEST_7=3 2 1 ||| d: -4 lm: -12.57 w: -3 I: 0 tm: -6.90776 -6.90776
TRANSLATION_3_NBEST_8=2 1 3 ||| d: -3 lm: -13.645 w: -3 I: 0 tm: -6.90776 -6.90776
TRANSLATION_4_NBEST_1=1234 3 4 5 ||| d: -3 lm: -8.02249 w: -4 I: 0 tm: -9.21034 -9.21034
TRANSLATION_4_NBEST_2=4 1234 5 ||| d: -2 lm: -7.07413 w: -3 I: 0 tm: -6.90776 -6.90776
TRANSLATION_4_NBEST_3=5 4 1234 ||| d: -1 lm: -8.17776 w: -3 I: 0 tm: -6.90776 -6.90776
TRANSLATION_4_NBEST_4=3 4 5 1234 ||| d: 0 lm: -12.8014 w: -4 I: 0 tm: -9.21034 -9.21034
TRANSLATION_4_NBEST_5=2 3 1234 ||| d: 0 lm: -10.4352 w: -3 I: 0 tm: -6.90776 -6.90776
TRANSLATION_4_NBEST_6=1234 4 5 ||| d: -3 lm: -7.84275 w: -3 I: 0 tm: -6.90776 -6.90776
TRANSLATION_4_NBEST_7=3 4 1234 5 ||| d: -2 lm: -11.6793 w: -4 I: 0 tm: -9.21034 -9.21034
TRANSLATION_4_NBEST_8=1234 5 4 ||| d: -4 lm: -6.99714 w: -3 I: 0 tm: -6.90776 -6.90776
TRANSLATION_4_NBEST_9=1 1234 ||| d: 0 lm: -8.4748 w: -2 I: 0 tm: -4.60517 -4.60517
TRANSLATION_4_NBEST_10=4 5 1234 ||| d: 0 lm: -12.0545 w: -3 I: 0 tm: -6.90776 -6.90776
TRANSLATION_5_NBEST_1=1 ||| d: 0 lm: -4.54836 w: -1 I: 0 tm: -2.30259 -2.30259
TRANSLATION_6_NBEST_1=' ||| d: 0 lm: -101.55 w: -1 I: 0 tm: 0 0
TOTAL_WALLTIME ~ 0<commit_msg>Fixed regression test for lattice distortion because implementation is now right and regression test isn't.<commit_after>TRANSLATION_1=A B ||| 1 2 
TRANSLATION_2=A B C ||| 1 2 3 
TRANSLATION_3=A B C ||| 1 2 3 
TRANSLATION_4=A B C ||| 1 2 3 
TRANSLATION_5=C D E X ||| 1234 3 4 5 
TRANSLATION_6=A ||| 1 
TRANSLATION_7=' ||| ' 
LMLOAD_TIME ~ 0.000
PTLOAD_TIME ~ 0.000
SCORE_1 = 1.090
SCORE_2 = 2.004
SCORE_3 = 2.004
SCORE_4 = 2.004
SCORE_5 = -0.233
SCORE_6 = -1.851
SCORE_7 = -196.549
TRANSLATION_0_NBEST_1=1 2 ||| d: 0 lm: -4.30484 w: -2 I: 0 tm: -4.60517 -4.60517
TRANSLATION_0_NBEST_2=2 1 ||| d: -3 lm: -9.70915 w: -2 I: 0 tm: -4.60517 -4.60517
TRANSLATION_1_NBEST_1=1 2 3 ||| d: 0 lm: -6.08823 w: -3 I: 0 tm: -6.90776 -6.90776
TRANSLATION_1_NBEST_2=12 3 ||| d: 0 lm: -7.98575 w: -2 I: 0 tm: -4.60517 -4.60517
TRANSLATION_1_NBEST_3=2 3 1 ||| d: -2 lm: -9.26988 w: -3 I: 0 tm: -6.90776 -6.90776
TRANSLATION_1_NBEST_4=1 3 2 ||| d: -3 lm: -10.7767 w: -3 I: 0 tm: -6.90776 -6.90776
TRANSLATION_1_NBEST_5=3 1 2 ||| d: -3 lm: -10.9714 w: -3 I: 0 tm: -6.90776 -6.90776
TRANSLATION_1_NBEST_6=2 1 3 ||| d: -2 lm: -13.645 w: -3 I: 0 tm: -6.90776 -6.90776
TRANSLATION_1_NBEST_7=3 12 ||| d: -3 lm: -10.0318 w: -2 I: 0 tm: -4.60517 -4.60517
TRANSLATION_1_NBEST_8=3 2 1 ||| d: -4 lm: -12.57 w: -3 I: 0 tm: -6.90776 -6.90776
TRANSLATION_2_NBEST_1=1 2 3 ||| d: 0 lm: -6.08823 w: -3 I: 0 tm: -6.90776 -6.90776
TRANSLATION_2_NBEST_2=2 3 1 ||| d: -2 lm: -9.26988 w: -3 I: 0 tm: -6.90776 -6.90776
TRANSLATION_2_NBEST_3=1 3 2 ||| d: -3 lm: -10.7767 w: -3 I: 0 tm: -6.90776 -6.90776
TRANSLATION_2_NBEST_4=3 1 2 ||| d: -3 lm: -10.9714 w: -3 I: 0 tm: -6.90776 -6.90776
TRANSLATION_2_NBEST_5=2 1 3 ||| d: -2 lm: -13.645 w: -3 I: 0 tm: -6.90776 -6.90776
TRANSLATION_2_NBEST_6=3 2 1 ||| d: -4 lm: -12.57 w: -3 I: 0 tm: -6.90776 -6.90776
TRANSLATION_3_NBEST_1=1 2 3 ||| d: 0 lm: -6.08823 w: -3 I: 0 tm: -6.90776 -6.90776
TRANSLATION_3_NBEST_2=1 3 2 ||| d: -1 lm: -10.7767 w: -3 I: 0 tm: -6.90776 -6.90776
TRANSLATION_3_NBEST_3=1 12 ||| d: 0 lm: -9.28642 w: -2 I: 0 tm: -4.60517 -4.60517
TRANSLATION_3_NBEST_4=2 3 1 ||| d: -3 lm: -9.26988 w: -3 I: 0 tm: -6.90776 -6.90776
TRANSLATION_3_NBEST_5=3 1 2 ||| d: -3 lm: -10.9714 w: -3 I: 0 tm: -6.90776 -6.90776
TRANSLATION_3_NBEST_6=12 1 ||| d: -3 lm: -8.59503 w: -2 I: 0 tm: -4.60517 -4.60517
TRANSLATION_3_NBEST_7=3 2 1 ||| d: -4 lm: -12.57 w: -3 I: 0 tm: -6.90776 -6.90776
TRANSLATION_3_NBEST_8=2 1 3 ||| d: -3 lm: -13.645 w: -3 I: 0 tm: -6.90776 -6.90776
TRANSLATION_4_NBEST_1=1234 3 4 5 ||| d: -3 lm: -8.02249 w: -4 I: 0 tm: -9.21034 -9.21034
TRANSLATION_4_NBEST_2=4 1234 5 ||| d: -3 lm: -7.07413 w: -3 I: 0 tm: -6.90776 -6.90776
TRANSLATION_4_NBEST_3=3 4 5 1234 ||| d: 0 lm: -12.8014 w: -4 I: 0 tm: -9.21034 -9.21034
TRANSLATION_4_NBEST_4=5 4 1234 ||| d: -2 lm: -8.17776 w: -3 I: 0 tm: -6.90776 -6.90776
TRANSLATION_4_NBEST_5=2 3 1234 ||| d: 0 lm: -10.4352 w: -3 I: 0 tm: -6.90776 -6.90776
TRANSLATION_4_NBEST_6=1234 4 5 ||| d: -3 lm: -7.84275 w: -3 I: 0 tm: -6.90776 -6.90776
TRANSLATION_4_NBEST_7=1234 5 4 ||| d: -4 lm: -6.99714 w: -3 I: 0 tm: -6.90776 -6.90776
TRANSLATION_4_NBEST_8=1 1234 ||| d: 0 lm: -8.4748 w: -2 I: 0 tm: -4.60517 -4.60517
TRANSLATION_4_NBEST_9=3 4 1234 5 ||| d: -3 lm: -11.6793 w: -4 I: 0 tm: -9.21034 -9.21034
TRANSLATION_4_NBEST_10=4 5 1234 ||| d: 0 lm: -12.0545 w: -3 I: 0 tm: -6.90776 -6.90776
TRANSLATION_5_NBEST_1=1 ||| d: 0 lm: -4.54836 w: -1 I: 0 tm: -2.30259 -2.30259
TRANSLATION_6_NBEST_1=' ||| d: 0 lm: -101.55 w: -1 I: 0 tm: 0 0
TOTAL_WALLTIME ~ 0
{'fraction_non_alphanumeric': 0.1887828852269442, 'fraction_numerical': 0.29285920786354436, 'mean_word_length': 2.839622641509434, 'pattern_counts': {'":': 0, '<': 3, '<?xml version=': 0, '>': 3, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '3521054', 'n_tokens_mistral': 4902, 'n_tokens_neox': 3971, 'n_words': 1111}