• 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏吧

python scrapy 登录知乎过程

python scrapy 登录知乎过程
前面了解了scrapy框架的大概各个组件的作用, 现在要爬取知乎数据,那么第一步就是要登录! 看下知乎的登录页面发现登录主要是两大接口 一: 登录页面地址,获取登录需要的验证码,如下图 打开知乎登录页面,需要输入用户名和密码, 还有一个验证码, 看chrome 调试工具发现验证码是这个地址返回的: https://www.zhihu.com/api/v3/o……继续阅读 »

wangting 1年前 (2018-09-10) 3119浏览 4评论 1个赞

python scrapy爬虫框架概念介绍(个人理解总结为一张图)

python scrapy爬虫框架概念介绍(个人理解总结为一张图)
python的scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架 python和scrapy的安装就不介绍了,资料很多 这里我个人总结一下,能更加快理解scrapy和快速上手一个简单的爬虫程序 首先开始一个scrapy项目 用命令: scrapy startproject 项目名 创建出来的文件如下图:红框是我的命令,蓝框是scrapy自……继续阅读 »

wangting 1年前 (2018-09-10) 1587浏览 31评论 0个赞