from pyspark.sql.types import StringType
name = 'target_column'
udf = UserDefinedFunction(lambda x: 'new_value', StringType())
new_df = old_df.select(*[(udf(column).alias(name) if column == name else
    column) for column in old_df.columns])
Обновление столбца фрейма данных в искре