时间:2026-06-24 10:19 | 来源:墨客学术 | 作者:墨客学术 | 点击:次
可用expr处理复杂运算;drop()删除列;withColumn()新增/修改列;cast()转换类型,txt,配合orderBy排序。
包括MySQL读写 ,填充缺失值,常用alias重命名,agg聚合操作:结合groupBy()使用sum/avg等函数,csv,时间处理:Pandas的to_datetime或Spark的DataType,python空值处理:统计空值,replace处理异常0值,spark多数据源加载,json, Spark SQL编程要点总结 数据选取:select()支持列名或表达式,。