执行类似如下形式的Sql：
select user_id from qt_revert_for_dmp where ((attr[‘535951390’] is not null and get_json_object(attr[‘535951390′],’$.yymmdd’)>2……继续阅读 »
wangting
6天前 3浏览
2个赞
spark运行过程中打印如下信息：
15/06/23 17:50:57 ERROR SparkDeploySchedulerBackend: Asked to remove non-existent executor 284 15/06/23 17:50:57
INFO AppClient$ClientActor: Executor added: app-2……继续阅读 »
wangting
6天前 3浏览
2个赞
启动Spark作业报如下错误：
ERROR Remoting: org.apache.spark.storage.BlockManagerId; local class incompatible: stream classdesc serialVersionUID = 1677335532749418220, local class serialVersio……继续阅读 »
wangting
6天前 4浏览
2个赞
spark有些情况下单个任务运行特别慢，
比如原因有：数据倾斜，或者那个task所在机器配置较差等。
这种情况下可以开启预测执行（推测执行）。
推测执行优化机制采用了典型的以空间换时间的优化策略，
它同时启动多个相同task（备份任务）处理相同的数据块，哪个完成的早，则采用哪个task的结果，这样可防止拖后腿Task任务出现，进而提高作业计算速度。
但是，这……继续阅读 »
wangting
6天前 5浏览
2个赞
推荐此书不错， 讲了许多可以提高专注度的方法，认为完成的工作量=专注度*时间。
这里对书本里的内容做了一个整理，方便回顾学习。
专注力与高效率
获得最佳人生的“神之时间管理术”四原则
“神之时间管理术” 第一原则 以“专注力”为中心对时间分配进行思考，早上起来的2-3小时是高专注度时间（高效率时间）
“神之时间管理术” 第二原则 “重启”专注力，创造出时……继续阅读 »
wangting
1周前 (10-10) 8浏览
1个赞
对query按PV排序的时候, 特别慢, 原因是query往往很长尾, 排序的时候分桶不均匀, 排序时候在PV后面加一个随机数可以解决。
queryList.sortBy(x => (x.pv, Random.nextInt), ascending = false)
……继续阅读 »
wangting
1个月前 (09-16) 13浏览
2个赞
vim 是 vi 的增强版（vi Improved），与 vi 编辑器完全兼容，而且实现了很多增强功能。
一、基础使用
1.打开，新建文件
$> vi hello.c //打开，新建一个叫hello.c的文件
2.进入 vi 后，光标处于文件中特定的某行上，可在 vi 命令上加上行号和文件名，
$> vi +5 hello.c
进入……继续阅读 »
wangting
1个月前 (09-04) 38浏览
1个赞
一、前言
如果你有很好的Java基础，当你入门以后，你会感觉到hadoop其实也是很简单的，大数据无非就是数据量大，需要很多机器共同来完成存储工作，云计算无非就是多台机器一起运算。
二、需要基础
1.Linux基础
2.虚拟机的使用
三、具体步骤
1.建立虚拟机
2.CentOS7修改静态IP
3.防火墙和SELinux关闭
4.安装JDK
5.虚拟机克……继续阅读 »
wangting
1个月前 (09-04) 23浏览
0个赞
今天，我们在进行深入了解计算机之前先听听我给大家讲一下关于电磁学的故事。
上次我们说计算机不是什么新鲜事物，中国自古就有算盘，但是20世纪之前的计算机发展史真的是平淡乏味，没什么意思，直到20世纪才取得了突飞猛进的成就，而这就归功与人类在19世纪末20世纪初在电磁学，数学，逻辑学，物理学等领域取得的成就。
老实说，计算机与你们家的电水壶，电冰箱都差不多，并……继续阅读 »
wangting
1个月前 (09-03) 20浏览
1个赞
Java开发是Linux高手必须掌握的基本技能，本片文章将介绍如何在Linux安装JDK，并且配置java环境。(本文以jdk-8u201-linux-x64.tar.gz为例)
1卸载自带的jdkopen(一般Linux发行版本都自带Java，但是不一定能用上)
1)检查已经安装过的jdk：
$> rpm -qa|grep java
2)删除已经……继续阅读 »
wangting
1个月前 (09-03) 24浏览
0个赞
