def count_not_null(c):
    """Use conversion between boolean and integer
    - False -> 0
    - True ->  1
    """
return sum(col(c).isNotNull().cast('integer')).alias(c)
exprs = [count_not_null(c) for c in df.columns]
df.agg(*exprs).show()
Подсчитайте количество записей, отличных от NaN, в каждом столбце кадра данных Spark с помощью Pyspark