spark优化技巧: spark的排序任务很慢, 优化方式

Posted on 2019 年 9 月 16 日

对query按PV排序的时候, 特别慢, 原因是query往往很长尾, 排序的时候分桶不均匀, 排序时候在PV后面加一个随机数可以解决。

queryList.sortBy(x => (x.pv, Random.nextInt), ascending = false)