相关参数介绍：
参数
默认值
说明
spark.sql.output.codec
none
使用的序列化方式，如snappy，lzo等，默认为不压缩。
spark.sql.output.coalesceNum
200
写入到指定目录的数据合并后文件的个数，仅当spark.sql.output.merge设为true时生效。
……继续阅读 »
wangting
23小时前 2浏览
0个赞
通过GeneratedBlockHandler实现对数据的存储和确认逻辑。
/** Class to handle blocks generated by the block generator. */
private final class GeneratedBlockHandler extends BlockGeneratorList……继续阅读 »
wangting
6天前 6浏览
0个赞
Feature：Spark支持GBK文件读取功能
需求分析
Spark默认的Text输入格式处理同Hadoop相同，均默认以UTF-8编码处理。
如果源本件本身是其他格式编码的，如GBK，在Spark处理后读出就会是乱码。
例如一张有关餐馆信息的数据可能是：
4504812|聚品面馆
5623102|金米粒抓饭
5623112|湘下茶饭
……继续阅读 »
wangting
6天前 10浏览
0个赞
阅读Hive Orc官方文档
Introduction
Orc格式支持自Hive 0.11引入。
The Optimized Row Columnar (ORC) 文件格式提供了更高效地存储Hive数据存储。其设计初衷是克服其他Hive文件格式的局限。
使用Orc文件提升了Hive的读写和处理性能。
相比RCFile，ORC文件格式由如下优点：
每个T……继续阅读 »
wangting
1周前 (10-29) 11浏览
0个赞
调度
调度相关配置说明详见下表：
配置项
默认值
说明
spark.scheduler.mode
FIFO
提交到同一个SparkContext的job的调度策略，有FIFO和FAIR两种。
Spark SQL
SQL组件相关配置说明详见下表：
配置项
默认值
……继续阅读 »
wangting
1周前 (10-29) 7浏览
0个赞
Dataset是1.6版本引入的新的实验接口, 整合了RDD的优势(强类型, 支持lambda方法)和Spark SQL执行引擎的各种优化. Dataset可以由JVM对象来构造并且使用transformation来变换(map, flatMap, filter等等). Dataset本身是DataFrame API的一种扩展, 它提供了类型安全, 面向对象……继续阅读 »
wangting
3周前 (10-17) 11浏览
0个赞
Sql由SQLContext处理，HQL由HiveContext处理。二者使用不同的parser进行解析。
Sql parser的实现在Spark SQL catalyst源码中，基于scala ddl paser的库文件实现了一套词法语法分析器。
HQL是SQL在Hive中的”方言”，它的解析借助开源语法分析器antrl实现。
在H……继续阅读 »
wangting
3周前 (10-14) 17浏览
1个赞
如果是读取hdfs的文件，一般来说，partition的数量等于文件的数量。
如果单个文件的大小大于hdfs的分块大小，partition的数量就等于 “文件大小/分块大小”。
同时，也可以使用rdd的repartition方法重新划分partition。
另外，在使用聚合函数比如 reducebykey, groupbykey，可以通过指定partitio……继续阅读 »
wangting
3周前 (10-14) 10浏览
1个赞
对query按PV排序的时候, 特别慢, 原因是query往往很长尾, 排序的时候分桶不均匀,
排序时候在PV后面加一个随机数可以解决.
queryList.sortBy(x => (x.pv, Random.nextInt), ascending = false)
……继续阅读 »
wangting
3周前 (10-14) 9浏览
0个赞
Spark 1.4 on Yarn的计算资源参数配置同Spark 1.2区别
问题：
Spark 1.4 on Yarn的计算资源参数配置同Spark 1.2有何区别。
解答：
Spark 1.2中：
通过spark.cores.max控制总核数，运行时会尽可能满足。
通过spark.executor.memory控制单个executor占用总内存。
但在……继续阅读 »
wangting
4周前 (10-12) 9浏览
1个赞
