['in', 'this', 'segment', "I'm", 'going', 'to', 'introduce', 'the', 'idea', 'of', 'lexical', 'izing', 'pcfg', 's', 'so', "let's", 'look', 'at', 'our', 'basic', 'pcfg', 'here', 'and', 'see', 'how', 'the', 'probabilities', 'of', 'rules', 'actually', 'work', 'so', 'what', 'we', 'have', 'in', 'the', 'pcfg', 'is', 'local', 'trees', 'corresponding', 'to', 'rules', 'such', 'as', 'verb', 'phrase', 'rewrites', 'as', 'VB', 'D', 'P', 'P', 'and', 'that', 'has', 'some', 'probability', 'attached', 'to', 'it', 'like', 'maybe', 'that', 'probability', 'of', 'the', '0', '3', 'about', '3%', 'on', 'verb', 'phrases', 'expand', 'as', 'a', 'past', 'tense', 'verb', 'and', 'a', 'prepositional', 'phrase', 'or', 'similarly', 'we', 'have', 'other', 'rules', 'so', 'that', 'we', 'have', 'up', 'here', 'a', 'sentence', 'goes']
['CASE_DIFF', 'NO_DIFF', 'NO_DIFF', 'CASE_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'UNKNOWN_TYPE_DIFF', 'NO_DIFF', 'CASE_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'PUNCUATION_DIFF', 'CASE_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'CASE_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'PUNCUATION_DIFF', 'CASE_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'UNKNOWN_TYPE_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'UNKNOWN_TYPE_DIFF', 'NO_DIFF', 'NO_DIFF', 'PUNCUATION_DIFF', 'UNKNOWN_TYPE_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'PUNCUATION_DIFF', 'CASE_DIFF', 'NO_DIFF', 'NO_DIFF']