df = sc.parallelize([(1, '2016-01-06 00:04:21'), (2, '2016-05-01 12:20:00'),
    (3, '2016-08-06 00:04:21')]).toDF(['id', 'ts_'])
now = lit('2016-06-01 00:00:00').cast('timestamp')
PySpark добавляет столбец в DataFrame из столбца TimeStampType