spark在运行过程中出现task fail 报如下错误：
org.apache.spark.shuffle.FetchFailedException: java.io.FileNotFoundException: /home/disk2/spark/spark-a26b1ea4-d622-4af0-88c9-d73ebba7f79e/spark-local……继续阅读 »
wangting
6个月前 (10-12) 18浏览
1个赞
执行类似如下形式的Sql：
select user_id from qt_revert_for_dmp where ((attr[‘535951390’] is not null and get_json_object(attr[‘535951390′],’$.yymmdd’)>2……继续阅读 »
wangting
6个月前 (10-12) 18浏览
2个赞
spark运行过程中打印如下信息：
15/06/23 17:50:57 ERROR SparkDeploySchedulerBackend: Asked to remove non-existent executor 284 15/06/23 17:50:57
INFO AppClient$ClientActor: Executor added: app-2……继续阅读 »
wangting
6个月前 (10-12) 18浏览
2个赞
启动Spark作业报如下错误：
ERROR Remoting: org.apache.spark.storage.BlockManagerId; local class incompatible: stream classdesc serialVersionUID = 1677335532749418220, local class serialVersio……继续阅读 »
wangting
6个月前 (10-12) 16浏览
2个赞
spark有些情况下单个任务运行特别慢，
比如原因有：数据倾斜，或者那个task所在机器配置较差等。
这种情况下可以开启预测执行（推测执行）。
推测执行优化机制采用了典型的以空间换时间的优化策略，
它同时启动多个相同task（备份任务）处理相同的数据块，哪个完成的早，则采用哪个task的结果，这样可防止拖后腿Task任务出现，进而提高作业计算速度。
但是，这……继续阅读 »
wangting
6个月前 (10-12) 20浏览
2个赞
推荐此书不错， 讲了许多可以提高专注度的方法，认为完成的工作量=专注度*时间。
这里对书本里的内容做了一个整理，方便回顾学习。
专注力与高效率
获得最佳人生的“神之时间管理术”四原则
“神之时间管理术” 第一原则 以“专注力”为中心对时间分配进行思考，早上起来的2-3小时是高专注度时间（高效率时间）
“神之时间管理术” 第二原则 “重启”专注力，创造出时……继续阅读 »
wangting
6个月前 (10-10) 19浏览
2个赞
对query按PV排序的时候, 特别慢, 原因是query往往很长尾, 排序的时候分桶不均匀, 排序时候在PV后面加一个随机数可以解决。
queryList.sortBy(x => (x.pv, Random.nextInt), ascending = false)
……继续阅读 »
wangting
7个月前 (09-16) 27浏览
2个赞
vim 是 vi 的增强版（vi Improved），与 vi 编辑器完全兼容，而且实现了很多增强功能。
一、基础使用
1.打开，新建文件
$> vi hello.c //打开，新建一个叫hello.c的文件
2.进入 vi 后，光标处于文件中特定的某行上，可在 vi 命令上加上行号和文件名，
$> vi +5 hello.c
进入……继续阅读 »
wangting
7个月前 (09-04) 48浏览
1个赞
一、前言
如果你有很好的Java基础，当你入门以后，你会感觉到hadoop其实也是很简单的，大数据无非就是数据量大，需要很多机器共同来完成存储工作，云计算无非就是多台机器一起运算。
二、需要基础
1.Linux基础
2.虚拟机的使用
三、具体步骤
1.建立虚拟机
2.CentOS7修改静态IP
3.防火墙和SELinux关闭
4.安装JDK
5.虚拟机克……继续阅读 »
wangting
7个月前 (09-04) 34浏览
0个赞
今天，我们在进行深入了解计算机之前先听听我给大家讲一下关于电磁学的故事。
上次我们说计算机不是什么新鲜事物，中国自古就有算盘，但是20世纪之前的计算机发展史真的是平淡乏味，没什么意思，直到20世纪才取得了突飞猛进的成就，而这就归功与人类在19世纪末20世纪初在电磁学，数学，逻辑学，物理学等领域取得的成就。
老实说，计算机与你们家的电水壶，电冰箱都差不多，并……继续阅读 »
wangting
7个月前 (09-03) 36浏览
2个赞
Java开发是Linux高手必须掌握的基本技能，本片文章将介绍如何在Linux安装JDK，并且配置java环境。(本文以jdk-8u201-linux-x64.tar.gz为例)
1卸载自带的jdkopen(一般Linux发行版本都自带Java，但是不一定能用上)
1)检查已经安装过的jdk：
$> rpm -qa|grep java
2)删除已经……继续阅读 »
wangting
7个月前 (09-03) 37浏览
0个赞
CentOS7作为服务器，常常需要配置静态IP，才能比较好的对其进行访问，本文将CentOS7如何修改静态IP的过程列出来。
1.确定自己的网卡名(和MAC地址)
#> ip addr (原先是ifconfig)
2.对网卡文件进行修改
#> vi /etc/sysconfig/network-scripts/[网卡名称]
将ONBOOT……继续阅读 »
wangting
7个月前 (09-03) 30浏览
1个赞
2018年 第1部
读罢，合书长谈，书中故事如电影一般闪过，感叹世间诸事不如书中所言那样。
武林争霸夺权，为了达到目的，获得权与利，天机算尽，可最后大家竟然死在自己人暗算之下，不禁让人感慨。
故事概要……继续阅读 »
wangting
7个月前 (09-03) 29浏览
0个赞
今天分享一个新用户留存率模型的设计
1、抛出问题
用户留存是用户分析中最常用到的指标之一。
我们常常接到这样的需求：
~我们要看1天、2天、3天、4天 … 7天的留存~
~我们要看1天、2天、3天、4天 … 28天的留存~
还有一些不按套路出牌的：
~我们要看第33天的留存~
~我们要看第56天的留存~
…
让你在代码里写连着7天的留存，就已……继续阅读 »
diligentman
7个月前 (08-29) 32浏览
0个赞
这次分享多维分析优化的另一种情况
【本文大纲】
1、描述问题背景
2、讲一下解决思路
3、解决办法（spark sql处理parquet row group原理及分区原理，参数测试，解决方案）
4、效果
1、描述问题
代码如下：
select netease_user, if(campaign_id is null, 'all', campaign_……继续阅读 »
diligentman
7个月前 (08-29) 38浏览
0个赞
这次是分享一个多维分析优化的案例
【本文大纲】
业务背景
spark sql处理count distinct的原理
spark sql 处理 grouping sets的原理
优化过程及效果
总结
1、业务背景
先上sql：
select if(req_netease_user is null, 'all',……继续阅读 »
diligentman
7个月前 (08-29) 46浏览
0个赞
在hive的源码apache-hive-2.1.1-src/data目录 下有测试数据以及脚本，进入该 目录执行 hive -f ‘scripts/q_test_init.sql’ 语句导入数据到hive，也可以自己创建数据表。
创建两张表：
use tmp;create table t1 (id int, na……继续阅读 »
diligentman
7个月前 (08-29) 29浏览
0个赞
语义解析主要是把AST Tree转化为QueryBlock，那为什么要转成QueryBlock呢？从之前的分析，我们可以看到AST Tree 还是很抽象，并且也不携带表、字段相关的信息，进行语义解析可以将AST Tree分模块存入QueryBlock 并携带对应的元数据信息，为生成逻辑执行计划做准备
简单串一下语义解析
sql编译器的入口：
……继续阅读 »
diligentman
7个月前 (08-29) 31浏览
0个赞
这篇主要介绍hive词法、语法解析的源码 以及hive AstTree
1、Hive的语法文件
对一个已有的项目进行语法分析，首先是要找到语法分析文件，分析语法文件之间的关系，然后根据语法分析文件提供的接口，确定语法解析在这个体系中所处的位置。
语法文件是以.g结尾
基本可以确定了 ql下面就是需要找到东西
HiveLexer.g 是做词法分析……继续阅读 »
diligentman
7个月前 (08-29) 33浏览
0个赞
这篇主要举实际案例说明怎么使用antlr工具、利用antlr生成的Lexer、Parser、TreeParser代码，获取asttree。这些都是hive获取asttree的过程，理解了这些，再理解hive的asttree就很容易了
程序设计语言入门小案例一般都用“Hello World”，在编译领域的入门往往选择计算器。而我们这次的小案例就更简单：……继续阅读 »
diligentman
7个月前 (08-29) 34浏览
0个赞
