目录图
一、
二、
主要
基础篇
(1)git commit
Git 仓库中的提交记录保存的是你的目录下所有文件的快照,就像是把整个目录复制,然后再粘贴一样,但比复制粘贴优雅许多!
Git 希望提交记录尽可能地轻量,因此在你每次进行提交时,它并不会盲目地复制整个目录。条件允许的情况下,它会将当前版本与仓库中的上一个版本进行对比,并把所有的差异打包到一……继续阅读 »
wangting
1年前 (2022-12-23) 181浏览
0个赞
今天为大家分享一道FLAG和BAT都出现过的经典面试题。题目有一定难度,建议大家耐着性子看完!不要说没天赋看不懂。在这个浮躁到努力的人都很少的年代,还谈不上说天赋这件事。
#01、题目示例
这道题是非常好的一道题目,也是前面100道里最难的题目之一,相当经典!
第4题:寻找两个正序数组的中位数
给定两个大小为 m 和 n ……继续阅读 »
wangting
3年前 (2021-06-25) 311浏览
0个赞
开篇
随着业务不断发展,软件系统的架构也越来越复杂,但无论多复杂的业务最终在系统中实现的时候,无非是读写操作。用户根据业务规则写入商业数据,再根据查询规则获取想要的结果。通常而言我们会讲这些读写的数据放到一个数据库中保存,通过一套模型对其进行读写操作。而在大型系统中往往查询操作远远多于写入操作,于是就有了读写分离的思想,将读操作和写操作的……继续阅读 »
wangting
3年前 (2021-02-02) 739浏览
2个赞
在面向对象的C++语言中,虚函数(virtual function)是一个非常重要的概念。
什么是虚函数:
虚函数是指一个类中你希望重载的成员函数 ,当你用一个 基类指针或引用 指向一个继承类对象的时候,调用一个虚函数时, 实际调用的是继承类的版本。 ——摘自MSDN
举例:
#include <iostream>
using ……继续阅读 »
wangting
4年前 (2020-03-31) 1126浏览
0个赞
SortShuffleManager
Reader使用BlockStoreShuffleReader,Writer根据传入的ShuffleHandler选择使用UnsafeShuffleWriter,BypassMergeSortShuffleWriter,还是SortShuffleWriter
override def getReader……继续阅读 »
wangting
4年前 (2019-11-13) 959浏览
4个赞
之前在 大话Spark(2)里讲过Spark Yarn-Client的运行模式,有同学反馈与Cluster模式没有对比, 这里我重新整理了三张图分别看下Standalone,Yarn-Client 和 Yarn-Cluster的运行流程。
1、独立(Standalone)运行模式

独立运行模式是Spark自身实现的资源调度框架,由客户端、Master节点……继续阅读 »
wangting
5年前 (2019-06-05) 1361浏览
3个赞
我在15年处理大数据的时候还都是使用MapReduce, 随着时间的推移, 计算工具的发展, 内存越来越便宜, 计算方式也有了极大的改变. 到现在再做大数据开发的好多同学都是直接使用spark, hive等工具, 很少有再写MapReduce的了.
这里整理一下MapReduce中经常用到的二次排序的方法, 全当复习.
简介
二次排序(secondary ……继续阅读 »
wangting
5年前 (2019-05-14) 25904浏览 66评论
0个赞
Sublime Text3是一款给力的文本编辑器,通过安装插件可以编辑Markdown文本,在编辑Markdown文本的同时可以实时预览编辑效果。
安装准备:
找到菜单栏:Preferences → Package Control → Package Control:Install Package;
没有找到Package Control,那么点击……继续阅读 »
wangting
6年前 (2018-08-22) 27584浏览 64评论
0个赞
一、什么是FSImage和EditsLog
我们知道HDFS是一个分布式文件存储系统,文件分布式存储在多个DataNode节点上。一个文件存储在哪些DataNode节点的哪些位置的元数据信息(metadata)由NameNode节点来处理。随着存储文件的增多,NameNode上存储的信息也会越来越多。那么HDFS是如何及时更新这些metadata的呢?
在H……继续阅读 »
wangting
6年前 (2017-12-19) 2137浏览
0个赞
执行
db_server=’192.168.145.xxx’;
db_username=’dbname’;
db_password=’dbpassword’;
db_table=”media.dbo.tablename”;
echo “入库前删除……继续阅读 »
wangting
7年前 (2017-07-27) 1200浏览
2个赞