Month: January 2020

Spark SQL(二) DataFrames相关的Transformation操作

Published by zzy_backend on January 12, 2020

DataFrames是不可变的，且与其相关的Transformation操作和RDD的相关操作一样都是返回一个新的DataFrame. DataFrames Transformations select selectExpr filter/where distinct/dropDuplicates sort/orderBy limit union…

View Full Text

Spark SQL(一) 如何创建DataFrames

Published by zzy_backend on January 5, 2020

Spark SQL包含两个主要的部分，第一部分是DataFrames和Datasets, 第二部分是Catalyst optimizer. DataFrames和Datasets是结构性API的展示，定义了操作结构化数据的高层次API, 而Catalyst optimizer则是在背后对处理数据的逻辑进行优化，以加速处理数据的速度。结构化数据通常有确定的格式，比如文本类数据格式CSV, XML, JSON。还有二进制数据：Avro,…

View Full Text