known_links = set()
newlist = []
for d in biglist:
    link = d['link']
if link in known_links:
    continue
newlist.append(d)
known_links.add(link)
biglist[:] = newlist
Удаляйте дубликаты в списке, сохраняя его порядок (Python)