for j in range(i + 1, len(cols)):
    if np.array_equal(v, df[cols[j]].values):
        remove.append(cols[j])
df.drop(remove, axis=1, inplace=True)
Как удалить повторяющиеся столбцы из фрейма данных с помощью python pandas