['in', 'research', 'NLP', 'these', 'days', "there's", 'always', 'a', 'lot', 'of', 'talk', 'of', 'probabilistic', 'models', 'and', 'machine', 'learning', 'but', 'if', 'you', 'actually', 'look', 'at', 'large', 'systems', 'under', 'the', 'hood', 'what', "you'll", 'almost', 'always', 'find', 'is', 'that', 'they', 'also', 'make', 'quite', 'a', 'bit', 'of', 'use', 'of', 'regular', 'expressions', 'in', 'various', 'places', 'and', 'for', 'many', 'tasks', 'it', 'turns', 'out', 'that', 'regional', 'expressions', 'are', 'just', 'a', 'very', 'practical', 'and', 'capable', 'way', 'of', 'specifying', 'various', 'kinds', 'of', 'natural', 'language', 'patterns', "I'm", 'going', 'to', 'show', 'you', 'one', 'example', 'of', 'this', 'now', 'by', 'showing', 'you', 'how', 'we', 'use', 'regular', 'expressions', 'for', 'the', 'English', 'tokenizer', 'inside', 'the', 'stanford']
['CASE_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'PUNCUATION_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'PUNCUATION_DIFF', 'CASE_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'PUNCUATION_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'PUNCUATION_DIFF', 'CASE_DIFF', 'NO_DIFF', 'NO_DIFF', 'PUNCUATION_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'UNKNOWN_TYPE_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'PUNCUATION_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'PUNCUATION_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'CASE_DIFF', 'NO_DIFF', 'NO_DIFF', 'CASE_DIFF']