n = sparkdf.rdd.getNumPartitions()
new_col = sc.parallelize(np.array([20, 20, 20, 20]), n).map(int)

def process(pair):
    return dict(list(pair[0].asDict().items()) + [('new_col', pair[1])])
rdd = sparkdf.rdd.zip(new_col).map(process)
sqlContext.createDataFrame(rdd)
Как добавить numpy.array в качестве нового столбца в pyspark.SQL DataFrame?