• 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏吧

最新发布 第2页

程序员灯塔天道酬勤,关注互联网+大数据相关技术.

SPARK

spark 单个task拖慢集群任务(开启推测执行)

spark 单个task拖慢集群任务(开启推测执行)
spark有些情况下单个任务运行特别慢, 比如原因有:数据倾斜,或者那个task所在机器配置较差等。 这种情况下可以开启预测执行(推测执行)。 推测执行优化机制采用了典型的以空间换时间的优化策略, 它同时启动多个相同task(备份任务)处理相同的数据块,哪个完成的早,则采用哪个task的结果,这样可防止拖后腿Task任务出现,进而提高作业计算速度。 但是,这……继续阅读 »

wangting 2个月前 (10-12) 18浏览 2个赞

杂谈

为什么精英都是时间控-读书总结,感悟

为什么精英都是时间控-读书总结,感悟
推荐此书不错, 讲了许多可以提高专注度的方法,认为完成的工作量=专注度*时间。 这里对书本里的内容做了一个整理,方便回顾学习。 专注力与高效率 获得最佳人生的“神之时间管理术”四原则 “神之时间管理术” 第一原则 以“专注力”为中心对时间分配进行思考,早上起来的2-3小时是高专注度时间(高效率时间) “神之时间管理术” 第二原则 “重启”专注力,创造出时……继续阅读 »

wangting 2个月前 (10-10) 17浏览 2个赞

linux

Vim的基本操作

Vim的基本操作
vim 是 vi 的增强版(vi Improved),与 vi 编辑器完全兼容,而且实现了很多增强功能。 一、基础使用 1.打开,新建文件 $> vi hello.c //打开,新建一个叫hello.c的文件 2.进入 vi 后,光标处于文件中特定的某行上,可在 vi 命令上加上行号和文件名, $> vi +5 hello.c  进入……继续阅读 »

wangting 3个月前 (09-04) 46浏览 1个赞

大数据

Hadoop集群搭建过程

Hadoop集群搭建过程
一、前言 如果你有很好的Java基础,当你入门以后,你会感觉到hadoop其实也是很简单的,大数据无非就是数据量大,需要很多机器共同来完成存储工作,云计算无非就是多台机器一起运算。 二、需要基础 1.Linux基础 2.虚拟机的使用 三、具体步骤 1.建立虚拟机 2.CentOS7修改静态IP 3.防火墙和SELinux关闭 4.安装JDK 5.虚拟机克……继续阅读 »

wangting 3个月前 (09-04) 32浏览 0个赞

未分类

计算机来自底层的仰望——黎明前的长夜

计算机来自底层的仰望——黎明前的长夜
今天,我们在进行深入了解计算机之前先听听我给大家讲一下关于电磁学的故事。 上次我们说计算机不是什么新鲜事物,中国自古就有算盘,但是20世纪之前的计算机发展史真的是平淡乏味,没什么意思,直到20世纪才取得了突飞猛进的成就,而这就归功与人类在19世纪末20世纪初在电磁学,数学,逻辑学,物理学等领域取得的成就。 老实说,计算机与你们家的电水壶,电冰箱都差不多,并……继续阅读 »

wangting 3个月前 (09-03) 34浏览 2个赞

未分类

Linux安装JDK

Linux安装JDK
Java开发是Linux高手必须掌握的基本技能,本片文章将介绍如何在Linux安装JDK,并且配置java环境。(本文以jdk-8u201-linux-x64.tar.gz为例) 1卸载自带的jdkopen(一般Linux发行版本都自带Java,但是不一定能用上) 1)检查已经安装过的jdk: $> rpm -qa|grep java 2)删除已经……继续阅读 »

wangting 3个月前 (09-03) 35浏览 0个赞

linux

CentOS7修改静态IP

CentOS7修改静态IP
  CentOS7作为服务器,常常需要配置静态IP,才能比较好的对其进行访问,本文将CentOS7如何修改静态IP的过程列出来。 1.确定自己的网卡名(和MAC地址) #> ip addr (原先是ifconfig) 2.对网卡文件进行修改 #> vi /etc/sysconfig/network-scripts/[网卡名称] 将ONBOOT……继续阅读 »

wangting 3个月前 (09-03) 28浏览 1个赞

未分类

《笑傲江湖》

《笑傲江湖》
2018年 第1部 读罢,合书长谈,书中故事如电影一般闪过,感叹世间诸事不如书中所言那样。 武林争霸夺权,为了达到目的,获得权与利,天机算尽,可最后大家竟然死在自己人暗算之下,不禁让人感慨。 故事概要……继续阅读 »

wangting 3个月前 (09-03) 27浏览 0个赞

hive

有关新用户留存率模型的一种设计方法

有关新用户留存率模型的一种设计方法
今天分享一个新用户留存率模型的设计   1、抛出问题 用户留存是用户分析中最常用到的指标之一。 我们常常接到这样的需求: ~我们要看1天、2天、3天、4天 … 7天的留存~ ~我们要看1天、2天、3天、4天 … 28天的留存~ 还有一些不按套路出牌的: ~我们要看第33天的留存~ ~我们要看第56天的留存~ … 让你在代码里写连着7天的留存,就已……继续阅读 »

diligentman 3个月前 (08-29) 30浏览 0个赞

hive

Hive源码系列(八)编译模块之语义解析 整体分析

Hive源码系列(八)编译模块之语义解析 整体分析
语义解析主要是把AST Tree转化为QueryBlock,那为什么要转成QueryBlock呢?从之前的分析,我们可以看到AST Tree 还是很抽象,并且也不携带表、字段相关的信息,进行语义解析可以将AST Tree分模块存入QueryBlock 并携带对应的元数据信息,为生成逻辑执行计划做准备   简单串一下语义解析 sql编译器的入口: ……继续阅读 »

diligentman 3个月前 (08-29) 29浏览 0个赞

大数据

Hive源码系列(七)编译模块之词法、语法解析 (下)

Hive源码系列(七)编译模块之词法、语法解析 (下)
这篇主要介绍hive词法、语法解析的源码 以及hive AstTree 1、Hive的语法文件 对一个已有的项目进行语法分析,首先是要找到语法分析文件,分析语法文件之间的关系,然后根据语法分析文件提供的接口,确定语法解析在这个体系中所处的位置。 语法文件是以.g结尾   基本可以确定了 ql下面就是需要找到东西   HiveLexer.g 是做词法分析……继续阅读 »

diligentman 3个月前 (08-29) 31浏览 0个赞

hive

Hive源码阅读系列(六)编译模块之词法、语法解析 (中)

Hive源码阅读系列(六)编译模块之词法、语法解析 (中)
这篇主要举实际案例说明怎么使用antlr工具、利用antlr生成的Lexer、Parser、TreeParser代码,获取asttree。这些都是hive获取asttree的过程,理解了这些,再理解hive的asttree就很容易了   程序设计语言入门小案例一般都用“Hello World”,在编译领域的入门往往选择计算器。而我们这次的小案例就更简单:……继续阅读 »

diligentman 3个月前 (08-29) 32浏览 0个赞

大数据

Hive源码阅读系列(五)编译模块之词法、语法解析 (上)

Hive源码阅读系列(五)编译模块之词法、语法解析 (上)
词法、语法解析模块会先介绍一下antlr环境(上)。然后举实际案例说明怎么使用antlr工具、利用antlr生成的Lexer、Parser、TreeParser代码,获取asttree。这些都是hive获取asttree的过程,理解了这些,再理解hive的asttree就很容易了(中)。 最后 详细介绍hive词法、语法解析的源码 以及hive AstTr……继续阅读 »

diligentman 3个月前 (08-29) 29浏览 1个赞

hive

Hive源码阅读系列(四)编译模块之整体介绍

Hive源码阅读系列(四)编译模块之整体介绍
  这次主要对Hive编译模块做整体介绍,后面会针对流程中的每一步做详细分析   1、Hive执行过程回顾     client:用户通过客户端提交查询操作 Driver:提供执行接口,负责接收查询请求并建立session,创建一系列环境参数等 Compiler:Hive的编译器,负责将sql转化为平台可执行的执行计划 MetaStore:Hi……继续阅读 »

diligentman 3个月前 (08-28) 34浏览 0个赞