• 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏吧

500GJava/Hadoop/Spark/机器学习…视频教程免费分享 百度云持续更新

500GJava/Hadoop/Spark/机器学习…视频教程免费分享 百度云持续更新
参加工作这么长时间了,工作中遇到了不少技能都是看视频教程学习的,相比较看书而言看视频确实比较容易理解。分享一下自己看过的和收集的视频教程。   资源包括: 大数据方面的Hadoop(云帆,小象学院,八斗学院) Spark从入门到精通278讲 机器学习(这个很全) java方面:Dubbo,Maven,马士兵老师的设计模式 IOS教程等等等~ &nb……继续阅读 »

wangting 6个月前 (06-24) 128浏览 0个赞

大话Spark(8)-源码之DAGScheduler

大话Spark(8)-源码之DAGScheduler
DAGScheduler的主要作用有2个: 一、把job划分成多个Stage(Stage内部并行运行,整个作业按照Stage的顺序依次执行) 二、提交任务 以下分别介绍下DAGScheduler是如何做这2件事情的,然后再跟源码看下DAGScheduler的实现。 一、如何把Job划分成多个Stage 1) 回顾下宽依赖和窄依赖 窄依赖:父RDD的每个分……继续阅读 »

wangting 6个月前 (06-24) 100浏览 1个赞

教程+资源,python scrapy实战爬取知乎最性感妹子的爆照合集(12G)!

教程+资源,python scrapy实战爬取知乎最性感妹子的爆照合集(12G)!
一.出发点: 之前在知乎看到一位大牛(二胖)写的一篇文章:python爬取知乎最受欢迎的妹子(大概题目是这个,具体记不清了),但是这位二胖哥没有给出源码,而我也没用过python,正好顺便学一学,所以我决定自己动手搞一搞. 爬取已经完成,文末有 python的源码和妹子图片的百度云地址 二.准备: 爬虫还是要用python(之前用过一个国人大牛写的java爬……继续阅读 »

wangting 1年前 (2018-09-13) 4406浏览 0个赞

python scrapy爬取知乎问题和收藏夹下所有答案的内容和图片

python scrapy爬取知乎问题和收藏夹下所有答案的内容和图片
上文介绍了爬取知乎问题信息的整个过程,这里介绍下爬取问题下所有答案的内容和图片,大致过程相同,部分核心代码不同. 爬取一个问题的所有内容流程大致如下: 一个问题url 请求url,获取问题下的答案个数(我不需要,因为之前获取问题信息的时候保存了问题的回答个数) 通过答案的接口去获取答案(如果一次获取5个答案,总计100个答案,需要计算的出访问20次答案接口……继续阅读 »

wangting 1年前 (2018-09-13) 6703浏览 0个赞

使用python scrapy爬取知乎提问信息

使用python scrapy爬取知乎提问信息
前文介绍了python的scrapy爬虫框架和登录知乎的方法. 这里介绍如何爬取知乎的问题信息,并保存到mysql数据库中. 首先,看一下我要爬取哪些内容: 如下图所示,我要爬取一个问题的6个信息: 问题的id(question_id) 标题(title) 问题描述(intro) 回答个数(answer_num) 关注人数(attention_uv) 浏览……继续阅读 »

wangting 1年前 (2018-09-13) 953浏览 1评论 0个赞