spark 解决排序任务慢的小技巧

Posted on 2019 年 10 月 14 日

对query按PV排序的时候, 特别慢, 原因是query往往很长尾, 排序的时候分桶不均匀,

排序时候在PV后面加一个随机数可以解决.

queryList.sortBy(x => (x.pv, Random.nextInt), ascending = false)