阅读Hive Orc官方文档
Introduction
Orc格式支持自Hive 0.11引入。
The Optimized Row Columnar (ORC) 文件格式提供了更高效地存储Hive数据存储。其设计初衷是克服其他Hive文件格式的局限。
使用Orc文件提升了Hive的读写和处理性能。
相比RCFile，ORC文件格式由如下优点：
每个T……继续阅读 »
wangting
4个月前 (10-29) 23浏览
0个赞
这篇主要介绍hive词法、语法解析的源码 以及hive AstTree
1、Hive的语法文件
对一个已有的项目进行语法分析，首先是要找到语法分析文件，分析语法文件之间的关系，然后根据语法分析文件提供的接口，确定语法解析在这个体系中所处的位置。
语法文件是以.g结尾
基本可以确定了 ql下面就是需要找到东西
HiveLexer.g 是做词法分析……继续阅读 »
diligentman
6个月前 (08-29) 33浏览
0个赞
词法、语法解析模块会先介绍一下antlr环境（上）。然后举实际案例说明怎么使用antlr工具、利用antlr生成的Lexer、Parser、TreeParser代码，获取asttree。这些都是hive获取asttree的过程，理解了这些，再理解hive的asttree就很容易了（中）。 最后 详细介绍hive词法、语法解析的源码 以及hive AstTr……继续阅读 »
diligentman
6个月前 (08-29) 30浏览
1个赞
这是一篇工具类的文章，工欲善其事必先利其器，要分析调试hive源码，必须搭建一套hive的运行环境。还记得第一次搭建hive源码调试环境，用了一个月的时间，才完全跑通整个调试过程。中间遇到各种各样莫名奇妙的问题，也有好多次想放弃，幸好坚持了下来。
我在调试hive源码时，主要使用eclipse，所以最终要把hive源码编译成eclipse项目，方便导入……继续阅读 »
diligentman
6个月前 (08-28) 54浏览
1个赞
hive.map.aggr=true;在map中会做部分聚集操作，效率更高但需要更多的内存。
hive.groupby.skewindata=true：数据倾斜时负载均衡，当选项设定为true，生成的查询计划会有两个MRJob。第一个MRJob 中，
Map的输出结果集合会随机分布到Reduce中，每个Reduce做部分聚合操作，并输出结果，这样处理的结果是……继续阅读 »
wangting
2年前 (2018-04-20) 686浏览
2个赞
MapJoin是Hive的一种优化操作，其适用于小表JOIN大表的场景，由于表的JOIN操作是在Map端且在内存进行的，所以其并不需要启动Reduce任务也就不需要经过shuffle阶段，从而能在一定程度上节省资源提高JOIN效率.
方法一
在Hive0.11前，必须使用MAPJOIN来标记显示地启动该优化操作，由于其需要将小表加载进内存所以要注意小表的大小……继续阅读 »
wangting
2年前 (2017-11-24) 362浏览
0个赞
order by：会对输入做全局排序，因此只有一个reducer（多个reducer无法保证全局有序）。只有一个reducer，会导致当输入规模较大时，需要较长的计算时间。
在hive.mapred.mode=strict模式下，强制必须添加limit限制，这么做的目的是减少reducer数据规模，例如，当限制limit 100时， 如果map的个数为50……继续阅读 »
wangting
3年前 (2017-07-27) 355浏览
0个赞
