return udf(concat_, ArrayType(type))
concat_string_arrays = concat(StringType())
df.select(concat_string_arrays(col('tokens'), col('bigrams')))
Объедините поля PySpark DataFrame ArrayType в одно поле ArrayType