df.withColumn('ts', unix_timestamp('ts_').cast('timestamp')).where(col('ts'
    ).between(five_months_ago, now)).withColumn('next_sunday', next_day(col
    ('ts'), 'Sun')).withColumn('diff', datediff(col('ts'), col('next_sunday')))
PySpark добавляет столбец в DataFrame из столбца TimeStampType