with open('hyp.txt', 'r') as hypfin:
    with open('ref1.txt', 'r') as reffin:
        hyp = (h.split() for h in hypfin)
ref = (r.split() for r in reffin)
scorer(hyp, ref)
Как работать с генераторами из файла для токенизации, а не материализовать список строк?