CentOS7作为服务器，常常需要配置静态IP，才能比较好的对其进行访问，本文将CentOS7如何修改静态IP的过程列出来。
1.确定自己的网卡名(和MAC地址)
#> ip addr (原先是ifconfig)
2.对网卡文件进行修改
#> vi /etc/sysconfig/network-scripts/[网卡名称]
将ONBOOT……继续阅读 »
wangting
1个月前 (09-03) 15浏览
1个赞
2018年 第1部
读罢，合书长谈，书中故事如电影一般闪过，感叹世间诸事不如书中所言那样。
武林争霸夺权，为了达到目的，获得权与利，天机算尽，可最后大家竟然死在自己人暗算之下，不禁让人感慨。
故事概要……继续阅读 »
wangting
1个月前 (09-03) 17浏览
0个赞
今天分享一个新用户留存率模型的设计
1、抛出问题
用户留存是用户分析中最常用到的指标之一。
我们常常接到这样的需求：
~我们要看1天、2天、3天、4天 … 7天的留存~
~我们要看1天、2天、3天、4天 … 28天的留存~
还有一些不按套路出牌的：
~我们要看第33天的留存~
~我们要看第56天的留存~
…
让你在代码里写连着7天的留存，就已……继续阅读 »
diligentman
2个月前 (08-29) 23浏览
0个赞
这次分享多维分析优化的另一种情况
【本文大纲】
1、描述问题背景
2、讲一下解决思路
3、解决办法（spark sql处理parquet row group原理及分区原理，参数测试，解决方案）
4、效果
1、描述问题
代码如下：
select netease_user, if(campaign_id is null, 'all', campaign_……继续阅读 »
diligentman
2个月前 (08-29) 26浏览
0个赞
这次是分享一个多维分析优化的案例
【本文大纲】
业务背景
spark sql处理count distinct的原理
spark sql 处理 grouping sets的原理
优化过程及效果
总结
1、业务背景
先上sql：
select if(req_netease_user is null, 'all',……继续阅读 »
diligentman
2个月前 (08-29) 32浏览
0个赞
在hive的源码apache-hive-2.1.1-src/data目录 下有测试数据以及脚本，进入该 目录执行 hive -f ‘scripts/q_test_init.sql’ 语句导入数据到hive，也可以自己创建数据表。
创建两张表：
use tmp;create table t1 (id int, na……继续阅读 »
diligentman
2个月前 (08-29) 20浏览
0个赞
语义解析主要是把AST Tree转化为QueryBlock，那为什么要转成QueryBlock呢？从之前的分析，我们可以看到AST Tree 还是很抽象，并且也不携带表、字段相关的信息，进行语义解析可以将AST Tree分模块存入QueryBlock 并携带对应的元数据信息，为生成逻辑执行计划做准备
简单串一下语义解析
sql编译器的入口：
……继续阅读 »
diligentman
2个月前 (08-29) 19浏览
0个赞
这篇主要介绍hive词法、语法解析的源码 以及hive AstTree
1、Hive的语法文件
对一个已有的项目进行语法分析，首先是要找到语法分析文件，分析语法文件之间的关系，然后根据语法分析文件提供的接口，确定语法解析在这个体系中所处的位置。
语法文件是以.g结尾
基本可以确定了 ql下面就是需要找到东西
HiveLexer.g 是做词法分析……继续阅读 »
diligentman
2个月前 (08-29) 21浏览
0个赞
这篇主要举实际案例说明怎么使用antlr工具、利用antlr生成的Lexer、Parser、TreeParser代码，获取asttree。这些都是hive获取asttree的过程，理解了这些，再理解hive的asttree就很容易了
程序设计语言入门小案例一般都用“Hello World”，在编译领域的入门往往选择计算器。而我们这次的小案例就更简单：……继续阅读 »
diligentman
2个月前 (08-29) 22浏览
0个赞
词法、语法解析模块会先介绍一下antlr环境（上）。然后举实际案例说明怎么使用antlr工具、利用antlr生成的Lexer、Parser、TreeParser代码，获取asttree。这些都是hive获取asttree的过程，理解了这些，再理解hive的asttree就很容易了（中）。 最后 详细介绍hive词法、语法解析的源码 以及hive AstTr……继续阅读 »
diligentman
2个月前 (08-29) 18浏览
0个赞
