from pyspark.sql.functions import col, lit, size
from functools import reduce
from operator import and_

def array_equal(c, an_array):
    same_size = size(c) == len(an_array)
same_items = reduce(and_, (c.getItem(i) == an_array[i] for i in range(len(
    an_array))))
return and_(same_size, same_items)
Фильтровать по тому, соответствует ли значение столбца списку в spark