spark sql 2.4 新增了高阶函数功能，允许在数组类型中像 scala/python 一样使用高阶函数
背景
复杂类型的数据和真实数据模型相像，但是使用sql操作较为困难，一般需要借助于 explod/collect_list 等方法，或者使用 scala / python 编写UDF，但是对每个方法都要定义并且注册，较为繁琐，其中 python udf 的性能由于需要在 JVM 和 Python 进程中进行序列化，效率更低。
例如现在有这样一种需求，对 t1 表中某个 array 字段 values 的每个元素加1
1. 只使用 sql 实现
此类方法会带来 shuffle 的开销，collect_list 也不能保证数据的顺序，同时要保证 group 字段全局唯一，否则结果会出错。
2. 使用 udf 的方式
使用 scala 定义 udf
或者使用 python 定义 udf
在 sql 中使用 udf
3. 使用高阶函数的方式
三种方式的性能对比图:
使用
Array 高阶函数
目前支持 transform / filter / exists / agregate / zip_with 方法
| id | arr_values | nested_values |
|---|---|---|
| 1 | [1,2,3] | [[1,2],[3,4]] |
1. transform
对一个数组应用 function 产生另一个数组
如果 lambda function 中有两个参数，第一个参数为数组中的元素，第二个参数代表该元素的索引(从0开始)
2. filter
过滤出数组中符合条件的元素
3. exists
数组中的一个或多个元素是否满足条件
4. aggregate
给定初始值，并对数组中所有的元素都应用 function ，如果需要的话还可以加上 finish function
5. zip_with
将两个数组根据 function 合并为一个数组，较短的那个数组会以填充 null 的方式匹配较长的数组
复杂类型内置函数
spark 2.4 增加了大量的内置函数
1.array: array_distinct / array_intersect / array_union / array_except 等
2.map: map_form_arrays / map_from_entries / map_concat
3.array & map : element_at / cardinality
总结
1.spark sql 高阶函数可以避免用户维护大量的 udf ，且提高了性能，增强了复杂类型的处理能力。
2.collect_list / collect_set 返回的结构为 array ，可以直接使用高阶函数进行操作。
来源（公众号）：五分钟学大数据
