• 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏吧

hive orderby sortby distributeby clusterby

hive wangting 2年前 (2017-07-27) 350次浏览

hive orderby sortby distributeby clusterby

order by:会对输入做全局排序,因此只有一个reducer(多个reducer无法保证全局有序)。只有一个reducer,会导致当输入规模较大时,需要较长的计算时间。
hive.mapred.mode=strict模式下,强制必须添加limit限制,这么做的目的是减少reducer数据规模,例如,当限制limit 100时, 如果map的个数为50, 则reducer的输入规模为100*50

sort by:不是全局排序,其在数据进入reducer前完成排序。

因此,如果用sort by进行排序,并且设置mapred.reduce.tasks>1, 则sort by只保证每个reducer的输出有序,不保证全局有序。

distribute by:按照指定的字段对数据进行划分输出到不同的reduce中。

cluster by:除了具有Distribute by的功能外,还会对该字段进行排序。因此,常常认为cluster by = distribute by + sort by


程序员灯塔 , 版权所有
转载请注明原文链接:https://www.wangt.cc/2017/07/hive-orderby-sortby-distributeby-clusterby/
喜欢 (0)