for num, entry in enumerate(d.entries):
    text = entry.content[0]['value'].encode('utf8')
parser = etree.HTMLParser()
tree = etree.parse(StringIO(text), parser)
print(''.join(tree.xpath('.//text()')))
Как обрабатывать кодировку в lxml для правильного анализа html-строки?