with_id = df.withColumn('_id', monotonically_increasing_id())
i = with_id.select(max_('_id')).first()[0]
with_id.where(col('_id') == i).drop('_id')
pyspark,spark: как выбрать последнюю строку, а также как получить доступ к кадру данных pyspark по индексу