['hi', 'everyone', 'so', "we're", 'gonna', 'start', 'the', 'armed', 'up', 'a', 'couple', 'report', 'so', 'the', 'task', 'so', 'for', 'this', 'bake-off', 'we', 'had', 'to', 'do', 'were', 'level', 'natural', 'language', 'and', 'ferns', 'with', 'binary', 'classification', 'so', 'basically', 'we', 'want', 'to', 'be', 'predicting', 'on', 'the', 'word', 'entailment', 'given', 'two', 'words', 'so', 'we', 'had', 'a', 'disjoint', 'train', 'and', 'train', 'test', 'split', 'which', 'reflects', 'our', 'expectation', 'that', 'we', 'want', 'to', 'be', 'able', 'to', 'generalize', 'on', 'unseen', 'words', 'and', 'go', 'caps', 'so', 'our', 'evaluation', 'data', 'set', 'consisted', 'of', '1767', 'negative', 'labels', 'and', '146', 'positive', 'labels', 'which', 'is', 'a', 'pre', 'unbalanced', 'data', 'set', 'and', 'thus', 'our', 'evaluation', 'matrix']
['CASE_DIFF', 'PUNCUATION_DIFF', 'CASE_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'PUNCUATION_DIFF', 'UNKNOWN_TYPE_DIFF', 'UNKNOWN_TYPE_DIFF', 'UNKNOWN_TYPE_DIFF', 'DIGIT_DIFF', 'CASE_AND_PUNCUATION_DIFF', 'CASE_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'CASE_AND_PUNCUATION_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'PUNCUATION_DIFF', 'CASE_AND_PUNCUATION_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'PUNCUATION_DIFF', 'UNKNOWN_TYPE_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'DIGIT_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'DIGIT_DIFF', 'NO_DIFF', 'PUNCUATION_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'UNKNOWN_TYPE_DIFF']