• 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏吧

spark mapreduce 报IOException: No space left on device

mapreduce wangting 1个月前 (10-12) 28次浏览

spark和mapreduce如果运行时报如下错误:

java.io.IOException: No space left on device

原因如下:

1) 如果是driver端机器抛出该异常,一般是/root/tmp 空间不够了。

可以通过配置spark.local.dir参数指定自定义的tmp目录。

2) 如果是集群executor端机器抛出该异常,一般是该机器磁盘满了,需要联系管理员及时清理。

 


程序员灯塔 , 版权所有
转载请注明原文链接:https://www.wangt.cc/2019/10/spark-mapreduce-%e6%8a%a5ioexception-no-space-left-on-device/
喜欢 (1)