Month: April 2020

聚合操作 聚合操作是大数据分析过程中一个常用的操作，用来分析汇总数据，或者生成汇总报告。 聚合通常需要对整个数据集或一个或多个列进行某种形式的分组，然后对每个组应用聚合函数，如求和、计数或求平均值。Spark提供了许多常用的聚合函数。这里介绍下基本的聚合函数和分组聚合操作函数。 首先创建一个用于demo的DataFram val flight_summary = spark.read.format(“csv”).option(“header”,”true”) .option(“inferSchema”,”true”).load(“flight-summary.csv”) flight_summary.count()…