• 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏吧

标签:spark推测执行

SPARK

spark 单个task拖慢集群任务(开启推测执行)

spark 单个task拖慢集群任务(开启推测执行)
spark有些情况下单个任务运行特别慢, 比如原因有:数据倾斜,或者那个task所在机器配置较差等。 这种情况下可以开启预测执行(推测执行)。 推测执行优化机制采用了典型的以空间换时间的优化策略, 它同时启动多个相同task(备份任务)处理相同的数据块,哪个完成的早,则采用哪个task的结果,这样可防止拖后腿Task任务出现,进而提高作业计算速度。 但是,这……继续阅读 »

wangting 2个月前 (10-12) 18浏览 2个赞