spark和mapreduce如果运行时报如下错误:
java.io.IOException: No space left on device
原因如下:
1) 如果是driver端机器抛出该异常,一般是/root/tmp 空间不够了。
可以通过配置spark.local.dir参数指定自定义的tmp目录。
2) 如果是集群executor端机器抛出该异常,一般是该机器磁盘满了,需要联系管理员及时清理。
spark和mapreduce如果运行时报如下错误:
java.io.IOException: No space left on device
原因如下:
1) 如果是driver端机器抛出该异常,一般是/root/tmp 空间不够了。
可以通过配置spark.local.dir参数指定自定义的tmp目录。
2) 如果是集群executor端机器抛出该异常,一般是该机器磁盘满了,需要联系管理员及时清理。