["we've", 'introduced', 'precision', 'and', 'recall', 'now', "let's", 'turn', 'to', 'the', 'remaining', 'issues', 'in', 'the', 'evaluation', 'of', 'text', 'classification', 'a', 'commonly', 'used', 'data', 'set', 'for', 'text', 'classification', 'is', 'the', 'Reuters', 'data', 'set', "it's", 'got', '21,000', 'documents', 'there', 'are', 'standard', 'training', 'and', 'test', 'splits', 'the', 'set', 'has', '118', 'categories', 'and', 'this', 'is', 'a', 'class', 'of', 'multi-value', 'classification', 'because', 'an', 'article', 'can', 'be', 'in', 'more', 'than', 'one', 'categories', 'so', 'that', 'means', "we're", 'gonna', 'be', 'learning', '118', 'separate', 'classifiers', 'each', 'one', 'making', 'a', 'binary', 'distinction', 'and', 'the', 'average', 'document', 'has', 'about', 'just', 'over', 'one', 'class', 'and', "here's", 'some', 'common', 'categories', 'with', 'some', 'numbers', 'of']
['CASE_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'PUNCUATION_DIFF', 'CASE_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'PUNCUATION_DIFF', 'CASE_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'PUNCUATION_DIFF', 'UNKNOWN_TYPE_DIFF', 'UNKNOWN_TYPE_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'PUNCUATION_DIFF', 'CASE_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'PUNCUATION_DIFF', 'CASE_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'INTRAWORD_PUNC_DIFF', 'PUNCUATION_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'UNKNOWN_TYPE_DIFF', 'UNKNOWN_TYPE_DIFF', 'CASE_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'PUNCUATION_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'PUNCUATION_DIFF', 'CASE_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'DIGIT_DIFF', 'PUNCUATION_DIFF', 'CASE_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'STEM_BASED_DIFF', 'NO_DIFF']