from itertools import chain
from pyspark.sql.functions import col, udf
from pyspark.sql.types import *

def concat(type):

    def concat_(*args):
        return list(chain(*args))
return udf(concat_, ArrayType(type))
concat_string_arrays = concat(StringType())
df.select(concat_string_arrays(col('tokens'), col('bigrams')))
Объедините поля PySpark DataFrame ArrayType в одно поле ArrayType