spark-sql-query-execution
2017-03-02 17:30:40 0 举报
Spark SQL Query执行是Apache Spark中用于处理结构化和半结构化数据的关键组件。它提供了一个编程接口,允许用户通过SQL查询来操作数据。在Spark SQL中,查询被编译成一系列的转换和动作操作,然后由Spark引擎执行。这些操作可以在内存中进行,从而实现了高效的数据处理。此外,Spark SQL还支持多种数据源,包括Hive、Parquet、JSON等,使得用户可以方便地在不同的数据源之间切换。总的来说,Spark SQL Query执行提供了一种强大而灵活的方式来处理大规模数据集。
作者其他创作
大纲/内容
UnresolvedLogicalPlan
Execution
RDD
"
SparkPlanner
Catalog
Analyzer
UnresolvedRelation
SparkSqlAstBuilder
Analysis
)
SparkOptimizer
Parse
Optimized Plan
physical plan
\"from db.table\"
SQL Query
preparations(Shuffle/Codegen)
ProjectionPushdown
LogicalPlan
0 条评论
下一页