for i, df in enumerate(chunked_data_iterator):
    df.index = list(range(i * chunksize, i * chunksize + len(df.index)))
df = df[dupemask]
Используя Pandas, как мне дедуплицировать файл, читаемый кусками?