['imagine', 'two', 'machines', 'they', 'both', 'output', 'messages', 'from', 'an', 'alphabet', 'of', 'a', 'B', 'C', 'or', 'D', 'machine', 'one', 'generates', 'each', 'symbol', 'randomly', 'they', 'all', 'occur', '25%', 'of', 'the', 'time', 'while', 'machine', 'to', 'generate', 'symbols', 'according', 'to', 'the', 'following', 'probabilities', 'now', 'which', 'machine', 'is', 'producing', 'more', 'information', 'Claude', 'Shannon', 'cleverly', 'rephrase', 'the', 'question', 'if', 'you', 'had', 'to', 'predict', 'the', 'next', 'symbol', 'from', 'each', 'machine', 'what', 'is', 'the', 'minimum', 'number', 'of', 'yes-or-no', 'questions', 'you', 'would', 'expect', 'to', 'ask', "let's", 'look', 'at', 'machine', '1', 'the', 'most', 'efficient', 'way', 'is', 'to', 'pose', 'a', 'question', 'which', 'divides', 'the', 'possibilities', 'in', 'half', 'for', 'example', 'our', 'first']
['NO_DIFF', 'NO_DIFF', 'PUNCUATION_DIFF', 'CASE_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'CASE_AND_PUNCUATION_DIFF', 'PUNCUATION_DIFF', 'PUNCUATION_DIFF', 'NO_DIFF', 'PUNCUATION_DIFF', 'CASE_DIFF', 'CASE_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'PUNCUATION_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'PUNCUATION_DIFF', 'NO_DIFF', 'CASE_DIFF', 'UNKNOWN_TYPE_DIFF', 'STEM_BASED_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'PUNCUATION_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'STEM_BASED_DIFF', 'NO_DIFF', 'PUNCUATION_DIFF', 'CASE_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'PUNCUATION_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'PUNCUATION_DIFF', 'CASE_DIFF', 'NO_DIFF', 'NO_DIFF', 'CASE_DIFF', 'DIGIT_DIFF', 'CASE_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'NO_DIFF', 'PUNCUATION_DIFF', 'CASE_DIFF', 'PUNCUATION_DIFF', 'NO_DIFF', 'NO_DIFF']