with open('hyp.txt', 'r') as hypfin:
    with open('ref1.txt', 'r') as reffin:
        hyp = (h.split() for h in hypfin)
Как работать с генераторами из файла для токенизации, а не материализовать список строк?