SortShuffleManager
Reader使用BlockStoreShuffleReader，Writer根据传入的ShuffleHandler选择使用UnsafeShuffleWriter，BypassMergeSortShuffleWriter，还是SortShuffleWriter
override def getReader……继续阅读 »
wangting
2个月前 (11-13) 23浏览
1个赞
今天，我们在进行深入了解计算机之前先听听我给大家讲一下关于电磁学的故事。
上次我们说计算机不是什么新鲜事物，中国自古就有算盘，但是20世纪之前的计算机发展史真的是平淡乏味，没什么意思，直到20世纪才取得了突飞猛进的成就，而这就归功与人类在19世纪末20世纪初在电磁学，数学，逻辑学，物理学等领域取得的成就。
老实说，计算机与你们家的电水壶，电冰箱都差不多，并……继续阅读 »
wangting
4个月前 (09-03) 34浏览
2个赞
Java开发是Linux高手必须掌握的基本技能，本片文章将介绍如何在Linux安装JDK，并且配置java环境。(本文以jdk-8u201-linux-x64.tar.gz为例)
1卸载自带的jdkopen(一般Linux发行版本都自带Java，但是不一定能用上)
1)检查已经安装过的jdk：
$> rpm -qa|grep java
2)删除已经……继续阅读 »
wangting
4个月前 (09-03) 35浏览
0个赞
2018年 第1部
读罢，合书长谈，书中故事如电影一般闪过，感叹世间诸事不如书中所言那样。
武林争霸夺权，为了达到目的，获得权与利，天机算尽，可最后大家竟然死在自己人暗算之下，不禁让人感慨。
故事概要……继续阅读 »
wangting
4个月前 (09-03) 27浏览
0个赞
之前在 大话Spark(2)里讲过Spark Yarn-Client的运行模式，有同学反馈与Cluster模式没有对比， 这里我重新整理了三张图分别看下Standalone,Yarn-Client 和 Yarn-Cluster的运行流程。
1、独立（Standalone）运行模式

独立运行模式是Spark自身实现的资源调度框架，由客户端、Master节点……继续阅读 »
wangting
7个月前 (06-05) 124浏览
0个赞
我在15年处理大数据的时候还都是使用MapReduce, 随着时间的推移, 计算工具的发展, 内存越来越便宜, 计算方式也有了极大的改变. 到现在再做大数据开发的好多同学都是直接使用spark, hive等工具, 很少有再写MapReduce的了.
这里整理一下MapReduce中经常用到的二次排序的方法, 全当复习.
简介
二次排序(secondary ……继续阅读 »
wangting
8个月前 (05-14) 1854浏览 66评论
0个赞
Sublime Text3是一款给力的文本编辑器，通过安装插件可以编辑Markdown文本，在编辑Markdown文本的同时可以实时预览编辑效果。
安装准备：
找到菜单栏：Preferences → Package Control → Package Control:Install Package；
没有找到Package Control，那么点击……继续阅读 »
wangting
1年前 (2018-08-22) 3029浏览 64评论
0个赞
一、什么是FSImage和EditsLog
我们知道HDFS是一个分布式文件存储系统，文件分布式存储在多个DataNode节点上。一个文件存储在哪些DataNode节点的哪些位置的元数据信息（metadata）由NameNode节点来处理。随着存储文件的增多，NameNode上存储的信息也会越来越多。那么HDFS是如何及时更新这些metadata的呢？
在H……继续阅读 »
wangting
2年前 (2017-12-19) 364浏览
0个赞
执行
db_server=’192.168.145.xxx’;
db_username=’dbname’;
db_password=’dbpassword’;
db_table=”media.dbo.tablename”;
echo “入库前删除……继续阅读 »
wangting
2年前 (2017-07-27) 363浏览
1个赞
