参加工作这么长时间了，工作中遇到了不少技能都是看视频教程学习的，相比较看书而言看视频确实比较容易理解。分享一下自己看过的和收集的视频教程。
资源包括：
大数据方面的Hadoop（云帆，小象学院，八斗学院）
Spark从入门到精通278讲
机器学习（这个很全）
java方面：Dubbo，Maven，马士兵老师的设计模式
IOS教程等等等~
&nb……继续阅读 »
wangting
1年前 (2019-06-24) 375浏览
0个赞
分享一下自己整理的超多电子书，
其中包括：Java，Hadoop，Spark，Linux，Hbase，Hive，机器学习，区块链
目录如下：
1 Java 基础
2 Java 虚拟机
3 Java 并发
4 Docker 体系
5 Hadoop
6 Hbase
7 Hive
8 区块链
9 Spark
10 MySQL
11 设计模式
12 时间管理
13 ……继续阅读 »
wangting
1年前 (2019-06-24) 564浏览
1个赞
DAGScheduler的主要作用有2个：
一、把job划分成多个Stage（Stage内部并行运行，整个作业按照Stage的顺序依次执行）
二、提交任务
以下分别介绍下DAGScheduler是如何做这2件事情的，然后再跟源码看下DAGScheduler的实现。
一、如何把Job划分成多个Stage
1) 回顾下宽依赖和窄依赖
窄依赖：父RDD的每个分……继续阅读 »
wangting
1年前 (2019-06-24) 293浏览
1个赞
一.出发点：
之前在知乎看到一位大牛（二胖）写的一篇文章：python爬取知乎最受欢迎的妹子（大概题目是这个，具体记不清了），但是这位二胖哥没有给出源码，而我也没用过python,正好顺便学一学,所以我决定自己动手搞一搞.
爬取已经完成,文末有 python的源码和妹子图片的百度云地址
二.准备：
爬虫还是要用python(之前用过一个国人大牛写的java爬……继续阅读 »
wangting
2年前 (2018-09-13) 5816浏览
1个赞
上文介绍了爬取知乎问题信息的整个过程,这里介绍下爬取问题下所有答案的内容和图片,大致过程相同,部分核心代码不同.
爬取一个问题的所有内容流程大致如下:
一个问题url
请求url,获取问题下的答案个数(我不需要,因为之前获取问题信息的时候保存了问题的回答个数)
通过答案的接口去获取答案(如果一次获取5个答案,总计100个答案,需要计算的出访问20次答案接口……继续阅读 »
wangting
2年前 (2018-09-13) 8054浏览
0个赞
前文介绍了python的scrapy爬虫框架和登录知乎的方法.
这里介绍如何爬取知乎的问题信息,并保存到mysql数据库中.
首先,看一下我要爬取哪些内容:
如下图所示,我要爬取一个问题的6个信息:
问题的id(question_id)
标题(title)
问题描述(intro)
回答个数(answer_num)
关注人数(attention_uv)
浏览……继续阅读 »
wangting
2年前 (2018-09-13) 1175浏览 1评论
0个赞
