lookup = sqlContext.createDataFrame([(1, 'foo'), (2, 'bar')], ('k', 'v'))
df_with_x6 = df_with_x5.join(lookup, col('x1') == col('k'), 'leftouter').drop(
    'k').withColumnRenamed('v', 'x6')
Как добавить новый столбец в Spark DataFrame (с помощью PySpark)?