from pyspark.sql.functions import udf, lit
my_date_format = udf(lambda d, fmt: d.strftime(fmt))
df.select(my_date_format(col('vacationdate'), lit('%d-%m-%Y')).alias(
    'date_string')).show()
Pyspark меняет тип столбца с даты на строку