• 微信公众号:美女很有趣。 工作之余,放松一下,关注即送10G+美女照片!

spark mapreduce 报IOException: No space left on device

spark mapreduce 报IOException: No space left on device
spark和mapreduce如果运行时报如下错误: java.io.IOException: No space left on device 原因如下: 1) 如果是driver端机器抛出该异常,一般是/root/tmp 空间不够了。 可以通过配置spark.local.dir参数指定自定义的tmp目录。 2) 如果是集群executor端机器抛出该异常,……继续阅读 »

wangting 2年前 (2019-10-12) 786浏览 1个赞

详细讲解MapReduce二次排序过程

详细讲解MapReduce二次排序过程
我在15年处理大数据的时候还都是使用MapReduce, 随着时间的推移, 计算工具的发展, 内存越来越便宜, 计算方式也有了极大的改变. 到现在再做大数据开发的好多同学都是直接使用spark, hive等工具, 很少有再写MapReduce的了. 这里整理一下MapReduce中经常用到的二次排序的方法, 全当复习. 简介 二次排序(secondary ……继续阅读 »

wangting 2年前 (2019-05-14) 9750浏览 66评论 0个赞