SparkContext是整个spark程序通往集群的唯一通道，他是程序的起点，也是程序的终点。
我们的每一个spark个程序都需要先创建SparkContext，接着调用SparkContext的方法， 比如说 sc.textFile(filepath)，程序最后也会调用sc.stop（）来退出。
让我们来一起看下SparkContext里面到底是如何实现……继续阅读 »
wangting
4个月前 (06-07) 121浏览
1个赞
之前在 大话Spark(2)里讲过Spark Yarn-Client的运行模式，有同学反馈与Cluster模式没有对比， 这里我重新整理了三张图分别看下Standalone,Yarn-Client 和 Yarn-Cluster的运行流程。
1、独立（Standalone）运行模式

独立运行模式是Spark自身实现的资源调度框架，由客户端、Master节点……继续阅读 »
wangting
4个月前 (06-05) 114浏览
0个赞
多年前自己刚来北京找工作的时候，面了一个星期 面了七八家公司才拿到一个offer。而上次跳槽面了不到10家公司基本全过而且都给到了期望的薪资，本来自己在面试前没想到能够这么顺利，回想起来还是自己准备的方法比较得当!
先说前提
此方法适用于培训机构，专科，普通本科毕业的同学，工作经验在1到5年之间。(985，211大学的同学或者研究生，技术大拿可以不用往下看……继续阅读 »
wangting
5个月前 (06-01) 273浏览
1个赞
Shuffle本意是 混洗, 洗牌的意思, 在MapReduce过程中需要各节点上同一类数据汇集到某一节点进行计算,把这些分布在不同节点的数据按照一定的规则聚集到一起的过程成为Shuffle.
在Hadoop的MapReduce框架中, Shuffle是连接Map和Reduce之间的桥梁, Map的数据要用到Reduce中必须经过Shuffle这个环节. 由……继续阅读 »
wangting
5个月前 (05-25) 997浏览
0个赞
本文以WordCount为例, 画图说明spark程序的执行过程
WordCount就是统计一段数据中每个单词出现的次数,
例如hello spark hello you 这段文本中hello出现2次, spark出现1次, you出现1次.
先上完整代码:
object WordCount {
def main(args: Array[String])……继续阅读 »
wangting
5个月前 (05-24) 301浏览
0个赞
Spark On Yarn 有两种运行模式:
Yarn – Cluster
Yarn – Client
他们的主要区别是:
Cluster: Spark的Driver在App Master主进程内运行, 该进程由集群上的YARN管理, 客户端可以在启动App Master后退出.
Client: Driver在提交作业的Clien……继续阅读 »
wangting
5个月前 (05-21) 1756浏览
0个赞
linux中shell变量$#,$@,$0,$1,$2的含义解释:
变量说明:
$$
Shell本身的PID（ProcessID）
$!
Shell最后运行的后台Process的PID
$?
最后运行的命令的结束代码（返回值）
$-
使用Set命令设定的Flag一览
$*
所有参数列表。如”$*”用「”」括起来的情况、以&……继续阅读 »
wangting
5个月前 (05-21) 149浏览 3评论
1个赞
说到Spark就不得不提MapReduce/Hadoop, 当前越来越多的公司已经把大数据计算引擎从MapReduce升级到了Spark. 至于原因当然是MapReduce的一些局限性了, 我们一起先来看下Mapreduce的局限性和Spark如何做的改进.
Spark概述
MapReduce局限性
1 仅支持Map和Reduce两种操作
2 处理效率极低
……继续阅读 »
wangting
5个月前 (05-18) 248浏览
0个赞
我在15年处理大数据的时候还都是使用MapReduce, 随着时间的推移, 计算工具的发展, 内存越来越便宜, 计算方式也有了极大的改变. 到现在再做大数据开发的好多同学都是直接使用spark, hive等工具, 很少有再写MapReduce的了.
这里整理一下MapReduce中经常用到的二次排序的方法, 全当复习.
简介
二次排序(secondary ……继续阅读 »
wangting
5个月前 (05-14) 1147浏览 66评论
0个赞
目录
一、索引的重要性
二、执行计划上的重要关注点
(1).全表扫描,检索行数
(2).key,using index(覆盖索引)
(3).通过key_len确定究竟使用了复合索引的几个索引字段
(4) order by和Using filesort
三、索引设计的注意事项
(1). 关于INNODB表PRIMARY KEY的建议
(2). 什么列上适合建……继续阅读 »
wangting
7个月前 (03-29) 483浏览 11评论
1个赞
