from functools import reduce
df
df.columns

def column_add(a, b):
    return a.__add__(b)
df.withColumn('total', reduce(column_add, (df[col] for col in df.columns))
    ).collect()
Добавить сумму столбца в качестве нового столбца в кадре данных PySpark