for i in range(len(cols) - 1):
    v = df[cols[i]].values
for j in range(i + 1, len(cols)):
    if np.array_equal(v, df[cols[j]].values):
        pass
Как удалить повторяющиеся столбцы из фрейма данных с помощью python pandas