• 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏吧

最新发布 第2页

程序员灯塔天道酬勤,关注互联网+大数据相关技术.

SPARK

spark 单个task拖慢集群任务(开启推测执行)

spark 单个task拖慢集群任务(开启推测执行)
spark有些情况下单个任务运行特别慢, 比如原因有:数据倾斜,或者那个task所在机器配置较差等。 这种情况下可以开启预测执行(推测执行)。 推测执行优化机制采用了典型的以空间换时间的优化策略, 它同时启动多个相同task(备份任务)处理相同的数据块,哪个完成的早,则采用哪个task的结果,这样可防止拖后腿Task任务出现,进而提高作业计算速度。 但是,这……继续阅读 »

wangting 6天前 5浏览 2个赞

杂谈

为什么精英都是时间控-读书总结,感悟

为什么精英都是时间控-读书总结,感悟
推荐此书不错, 讲了许多可以提高专注度的方法,认为完成的工作量=专注度*时间。 这里对书本里的内容做了一个整理,方便回顾学习。 专注力与高效率 获得最佳人生的“神之时间管理术”四原则 “神之时间管理术” 第一原则 以“专注力”为中心对时间分配进行思考,早上起来的2-3小时是高专注度时间(高效率时间) “神之时间管理术” 第二原则 “重启”专注力,创造出时……继续阅读 »

wangting 1周前 (10-10) 8浏览 1个赞

linux

Vim的基本操作

Vim的基本操作
vim 是 vi 的增强版(vi Improved),与 vi 编辑器完全兼容,而且实现了很多增强功能。 一、基础使用 1.打开,新建文件 $> vi hello.c //打开,新建一个叫hello.c的文件 2.进入 vi 后,光标处于文件中特定的某行上,可在 vi 命令上加上行号和文件名, $> vi +5 hello.c  进入……继续阅读 »

wangting 1个月前 (09-04) 38浏览 1个赞

大数据

Hadoop集群搭建过程

Hadoop集群搭建过程
一、前言 如果你有很好的Java基础,当你入门以后,你会感觉到hadoop其实也是很简单的,大数据无非就是数据量大,需要很多机器共同来完成存储工作,云计算无非就是多台机器一起运算。 二、需要基础 1.Linux基础 2.虚拟机的使用 三、具体步骤 1.建立虚拟机 2.CentOS7修改静态IP 3.防火墙和SELinux关闭 4.安装JDK 5.虚拟机克……继续阅读 »

wangting 1个月前 (09-04) 23浏览 0个赞

未分类

计算机来自底层的仰望——黎明前的长夜

计算机来自底层的仰望——黎明前的长夜
今天,我们在进行深入了解计算机之前先听听我给大家讲一下关于电磁学的故事。 上次我们说计算机不是什么新鲜事物,中国自古就有算盘,但是20世纪之前的计算机发展史真的是平淡乏味,没什么意思,直到20世纪才取得了突飞猛进的成就,而这就归功与人类在19世纪末20世纪初在电磁学,数学,逻辑学,物理学等领域取得的成就。 老实说,计算机与你们家的电水壶,电冰箱都差不多,并……继续阅读 »

wangting 1个月前 (09-03) 20浏览 1个赞

未分类

Linux安装JDK

Linux安装JDK
Java开发是Linux高手必须掌握的基本技能,本片文章将介绍如何在Linux安装JDK,并且配置java环境。(本文以jdk-8u201-linux-x64.tar.gz为例) 1卸载自带的jdkopen(一般Linux发行版本都自带Java,但是不一定能用上) 1)检查已经安装过的jdk: $> rpm -qa|grep java 2)删除已经……继续阅读 »

wangting 1个月前 (09-03) 24浏览 0个赞