• 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏吧

spark mapreduce 报IOException: No space left on device

spark mapreduce 报IOException: No space left on device
spark和mapreduce如果运行时报如下错误: java.io.IOException: No space left on device 原因如下: 1) 如果是driver端机器抛出该异常,一般是/root/tmp 空间不够了。 可以通过配置spark.local.dir参数指定自定义的tmp目录。 2) 如果是集群executor端机器抛出该异常,……继续阅读 »

wangting 2个月前 (10-12) 30浏览 1个赞

详细讲解MapReduce二次排序过程

详细讲解MapReduce二次排序过程
我在15年处理大数据的时候还都是使用MapReduce, 随着时间的推移, 计算工具的发展, 内存越来越便宜, 计算方式也有了极大的改变. 到现在再做大数据开发的好多同学都是直接使用spark, hive等工具, 很少有再写MapReduce的了. 这里整理一下MapReduce中经常用到的二次排序的方法, 全当复习. 简介 二次排序(secondary ……继续阅读 »

wangting 7个月前 (05-14) 1514浏览 66评论 0个赞