• 微信公众号:美女很有趣。 工作之余,放松一下,关注即送10G+美女照片!

爬虫之re模块与requests模块

开发技术 开发技术 3小时前 2次浏览

re模块

findall(正则,文本数据)

在匹配的时候是全局匹配,不会因为匹配到一个就停止。

返回的结果是一个列表,内部包含正则匹配到的所有的内容。

import re

s = """
eva jyb tony yuan 
  jyb jyb
    jyb a
"""
ret = re.findall('j.*?n', s) # 返回所有满足匹配条件的结果,放在列表里 
print(ret)

  

爬虫之re模块与requests模块

 

finditer(正则,文本数据)–暂时了解即可

在匹配的时候是全局匹配不会因为匹配到一个就停止。

返回的结果是一个列表,内部包含正则匹配到的所有的内容。

import re

s = """
eva jyb tony yuan 
    jyb jyb
        jyb a
"""
res = re.finditer('j.*?n', s)
for i in res:
    print(i.group())

爬虫之re模块与requests模块

 

匹配到一个符合条件的数据就结束

import re

s = """
eva jyb tony yuan 
    jyb jyb
        jyb a
"""
res = re.search('j.*?n', s)
print(res)

爬虫之re模块与requests模块

 

只能从头开始匹配,头部不符合直接停止

import re

s = """
eva jyb tony yuan 
    jyb jyb
        jyb a
"""
res1 = re.match('j.*?n', s)
print(res1)

爬虫之re模块与requests模块

 

findall分组优先展示

会优先展示括号内正则表达式匹配到的内容。

import re
# 分组优先
ret = re.findall('www.(oldboy).com', 'www.oldboy.com')
print(ret)

爬虫之re模块与requests模块

 

取消分组优先

import re

# 取消分组优先
ret1 = re.findall('www.(?:oldboy).com', 'www.oldboy.com')
print(ret1)

ret2 = re.findall('www.(?:baidu|oldboy).com', 'www.oldboy.com')
print(ret2)

爬虫之re模块与requests模块

 

requests模块

作用

可以模拟浏览器发送网络请求获取数据。

下载

pip3 install requests

由于下载较慢,建议换源再下载。

导入使用

import requests

 

网络请求方法

一般有八个网络方法,目前只需要掌握两个。

get请求

朝别人索要数据。

eg:浏览器地址栏输入百度网址回车其实就是在发送get请求朝百度服务器索要百度首页。

get请求也可以携带额外的数据,但是数据量有限制最多2~4KB,并且是直接写在网址的后面。

url?xx=yy&zz=kk

爬虫之re模块与requests模块

 

post请求

朝别人提交数据

eg:用户注册登录需要输入用户名和密码之后点击按钮发送post请求将数据提交给远程服务器。

post请求也可以携带额外的数据,并且数据大小没有限制,敏感性的数据都是由post请求携带。

数据放在请求体中

 

HTTP协议

规定了浏览器与服务端之间数据交互的方式。

四大特性

基于请求响应

基于TCP、IP作用于应用层之上的协议。

无状态:即不保存客户端的状态。

无连接

 

数据请求格式

请求数据格式

请求首行(请求方法,地址……)

请求头(一大堆K:V键值对)

请求体(get请求没有请求体,post请求有,里面是敏感数据)

爬虫之re模块与requests模块

 

响应数据格式

响应首行(响应状态码,协议版本)

响应头(一大堆K:V键值对)

 

响应状态码

用简单的数字来表示一串中文意思

1XX

服务端已经成功接收到了你的数据正在处理,你可以继续提交或者等待。

2XX

请求成功服务端发送了响应。

3XX

重定向(原本想访问A页面但是内部自动跳到了B页面)

4XX

403请求不符合条件    404请求资源不存在

5XX

服务器内部错误

爬虫之re模块与requests模块

 

公司还会自己自定义响应状态码(HTTP的状态码太少不够用)

参考网站:聚合数据:https://www.juhe.cn/docs

爬虫之re模块与requests模块

 

requests模块基本使用

发送网络请求
	import requests
    requests.get(url)  # 发送get请求
    requests.post(url)  # 发送post请求
    
# 1.简单的get请求获取页面并报错
    import requests
    # 朝百度发送get请求获取首页数据
    res = requests.get('https://www.baidu.com/')
    # print(res.status_code)  # 获取响应状态码
    # 指定字符编码
    # res.encoding = 'utf8'
    # print(res.text)  # 获取网页字符串数据
    # print(res.content)  # 获取bytes类型的数据(在python中可以直接看成是二进制)
    with open(r'baidu.html', 'wb') as f:
        f.write(res.content)
    
 
# 2.携带参数的get请求
	requests.get(url,params={})
  
# 3.如何携带请求头数据
	requests.get(url,headers={})

爬虫之re模块与requests模块

 

防爬措施

校验当前请求是否是浏览器发出的

用于校验的核心就在于请求头里面的User-Agent键值对

只要请求里面含有该键值对就表示你是个浏览器没有则不是浏览器

User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.63 Safari/537.36

爬虫之re模块与requests模块

 

解决措施在请求头中加上即可

requests.get(url,headers={…})

爬虫之re模块与requests模块

 

爬虫之re模块与requests模块

 


程序员灯塔
转载请注明原文链接:爬虫之re模块与requests模块
喜欢 (0)