执行类似 xxx.write.format(“parquet”).save(‘xxxx’) 的操作。
虽然UI上显示completed
但是后台会hold主进程 一段时间，有时候几分钟，有时候十几分钟
最后hang住的原因是hadoop2.x commit job是在driver端单线程做的，当结果文件较多时，会比较慢。
执行类似 xxx.write.format(“parquet”).save(‘xxxx’) 的操作。
虽然UI上显示completed
但是后台会hold主进程 一段时间，有时候几分钟，有时候十几分钟
最后hang住的原因是hadoop2.x commit job是在driver端单线程做的，当结果文件较多时，会比较慢。