• 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏吧

Hive源码阅读系列(四)编译模块之整体介绍

hive diligentman 3个月前 (08-28) 32次浏览

 

这次主要对Hive编译模块做整体介绍,后面会针对流程中的每一步做详细分析

 

1、Hive执行过程回顾

 

Hive源码阅读系列(四)编译模块之整体介绍

 

client:用户通过客户端提交查询操作

Driver:提供执行接口,负责接收查询请求并建立session,创建一系列环境参数等

Compiler:Hive的编译器,负责将sql转化为平台可执行的执行计划

MetaStore:Hive的元数据服务器

Execution Engine:执行引擎,负责提交Compiler 编译好的执行计划到不同的平台上

 

用户通过client向Driver提交Hive Sql,Driver将Sql交给Complier,由Complier生成执行计划,Complier生成执行计划的过程需要与MetaStore做交互来获取Sql相关表,字段等属性信息,执行计划生成后,将执行计划交给Driver,Driver通过Execution Engine把执行计划提交相应平台执行,最后把执行的结果返回给用户。

 

这次我们主要分析的模块就是Compiler ,Hive的编译模块

 

2、Hive sql的编译流程

 

Hive源码阅读系列(四)编译模块之整体介绍

词法、语法解析: Antlr定义SQL的语法规则,完成SQL词法,语法解析,将SQL转化为抽象语法树AST Tree

语义解析: 遍历AST Tree,抽象出查询的基本组成单元QueryBlock

生成逻辑执行计划: 遍历QueryBlock,翻译为执行操作树OperatorTree

优化逻辑执行计划: 逻辑层优化器进行OperatorTree变换,合并Operator,达到减少MapReduce Job,减少数据传输及shuffle数据量

生成物理执行计划: 遍历OperatorTree,翻译为MapReduce任务

优化物理执行计划: 物理层优化器进行MapReduce任务的变换,生成最终的执行计划

 

3、Hive sql的编译的代码流程

 

Hive源码阅读系列(四)编译模块之整体介绍

 


程序员灯塔 , 版权所有
转载请注明原文链接:https://www.wangt.cc/2019/08/81587b10f4/
喜欢 (0)