from pyspark.sql.functions import col, max as max_, struct, monotonically_increasing_id
last_row = df.withColumn('_id', monotonically_increasing_id()).select(max(
    struct('_id', *df.columns)).alias('tmp')).select(col('tmp.*')).drop('_id')
pyspark,spark: как выбрать последнюю строку, а также как получить доступ к кадру данных pyspark по индексу