阅读Hive Orc官方文档 Introduction Orc格…
月度归档： 2019 年 10 月
spark配置说明
调度 调度相关配置说明详见下表： 配置项 默认值 …
Spark DataSet 介绍
Dataset是1.6版本引入的新的实验接口, 整合了RDD的优…
Spark-SQL中对Sql和Hql在解析上的区别是什么？
Sql由SQLContext处理，HQL由HiveContext…
Spark作业中Partition数目的划分是由什么决定的？
如果是读取hdfs的文件，一般来说，partition的数量等于…
spark 解决排序任务慢的小技巧
对query按PV排序的时候, 特别慢, 原因是query往往很…
Spark 1.4 on Yarn的计算资源参数配置同Spark 1.2区别
Spark 1.4 on Yarn的计算资源参数配置同Spark…
Spark 1.4 Sql运行时driver端占用内存过多
Spark 1.4执行SQL查询过程中发现driver端Spar…
spark运行中 Task运行报exceeds spark.akka.frameSize
报错信息如下： org.apache.spark.SparkEx…
spark mapreduce 报IOException: No space left on device
spark和mapreduce如果运行时报如下错误： java….