博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
request模块
阅读量:6245 次
发布时间:2019-06-22

本文共 11699 字,大约阅读时间需要 38 分钟。

 


  • 一 介绍
  • 二 基于GET请求
  • 三 基于POST请求
  • 四 响应Response
  • 五 高级用法

一 介绍

# 介绍:使用requests可以模拟浏览器的请求,比起之前用到的urllib,requests模块的api更加便捷(本质就是封装了urllib3)#注意:requests库发送请求将网页内容下载下来以后,并不会执行js代码,这需要我们自己分析目标站点然后发起新的request请求#安装:pip3 install requests#各种请求方式:常用的就是requests.get()和requests.post()>>> import requests>>> r = requests.get('https://api.github.com/events')>>> r = requests.post('http://httpbin.org/post', data = {
'key':'value'})>>> r = requests.put('http://httpbin.org/put', data = {
'key':'value'})>>> r = requests.delete('http://httpbin.org/delete')>>> r = requests.head('http://httpbin.org/get')>>> r = requests.options('http://httpbin.org/get')

二 基于GET请求

1、基本请求

import requestsresponse=requests.get('http://dig.chouti.com/')print(response.text) # 字符串格式   content 二进制格式

2、带参数的GET请求->params

#在请求头内将自己伪装成浏览器,否则百度不会正常返回页面内容url = 'https://www.baidu.com/s?wd=python&pn=1'headers={                        'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.75 Safari/537.36'}import requestsresponse=requests.get(url=url, headers=headers)print(response.text)#如果查询关键词是中文或者有其他特殊符号,则不得不进行url编码from urllib.parse import urlencodewd='egon老师'encode_res=urlencode({
'k':wd},encoding='utf-8')keyword=encode_res.split('=')[1]print(keyword)# 然后拼接成urlurl='https://www.baidu.com/s?wd=%s&pn=1' %keywordresponse=requests.get(url, headers={ 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.75 Safari/537.36', })res1=response.text
# 上述操作可以用requests模块的一个params参数搞定,本质还是调用urlencode#上述操作可以用requests模块的一个params参数搞定,本质还是调用urlencodefrom urllib.parse import urlencodewd='egon老师'pn=1response=requests.get('https://www.baidu.com/s',                      params={                          'wd':wd,                          'pn':pn                      },                      headers={                        'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.75 Safari/537.36',                      })res2=response.text#验证结果,打开a.html与b.html页面内容一样with open('a.html','w',encoding='utf-8') as f:    f.write(res1) with open('b.html', 'w', encoding='utf-8') as f:    f.write(res2)

3、带参数的GET请求->headers

#通常我们在发送请求时都需要带上请求头,请求头是将自身伪装成浏览器的关键,常见的有用的请求头如下HostReferer #大型网站通常都会根据该参数判断请求的来源User-Agent #客户端Cookie #Cookie信息虽然包含在请求头里,但requests模块有单独的参数来处理他,headers={}内就不要放它了
#添加headers(浏览器会识别请求头,不加可能会被拒绝访问,比如访问https://www.zhihu.com/explore)import requestsresponse=requests.get('https://www.zhihu.com/explore')response.status_code #500#自己定制headersheaders={    'User-Agent':'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.76 Mobile Safari/537.36',}respone=requests.get('https://www.zhihu.com/explore',                     headers=headers)print(respone.status_code) #200

4、带参数的GET请求->cookies

#登录github,然后从浏览器中获取cookies,以后就可以直接拿着cookie登录了,无需输入用户名密码#用户名:egonlin 邮箱378533872@qq.com 密码lhf@123import requestsCookies={   'user_session':'wGMHFJKgDcmRIVvcA14_Wrt_3xaUyJNsBnPbYzEL6L0bHcfc',}response=requests.get('https://github.com/settings/emails',             cookies=Cookies) #github对请求头没有什么限制,我们无需定制user-agent,对于其他网站可能还需要定制print('378533872@qq.com' in response.text) #True

三 基于POST请求

1、介绍

# GET请求HTTP默认的请求方法就是GET    * 没有请求体    * 数据必须在1K之内    * GET请求数据会暴露在浏览器的地址栏中GET请求常用的操作:       1. 在浏览器的地址栏中直接给出URL,那么就一定是GET请求       2. 点击页面上的超链接也一定是GET请求       3. 提交表单时,表单默认使用GET请求,但可以设置为POST# POST请求(1) 数据不会出现在地址栏中(2) 数据的大小没有上限(3) 有请求体(4) 请求体中如果存在中文,会使用URL编码!#!!!requests.post()用法与requests.get()完全一致,特殊的是requests.post()有一个data参数,用来存放请求体数据

2、发送POST请求,模拟浏览器的登录行为

#对于登录来说,应该输错用户名或密码然后分析抓包流程,用脑子想一想,输对了浏览器就跳转了,还分析个毛线,累死你也找不到包
1 ''' 2 一 目标站点分析 3     浏览器输入https://github.com/login 4     然后输入错误的账号密码,抓包 5     发现登录行为是post提交到:https://github.com/session 6     而且请求头包含cookie 7     而且请求体包含: 8         commit:Sign in 9         utf8:✓10         authenticity_token:lbI8IJCwGslZS8qJPnof5e7ZkCoSoMn6jmDTsL1r/m06NLyIbw7vCrpwrFAPzHMep3Tmf/TSJVoXWrvDZaVwxQ==11         login:egonlin12         password:12313 14 15 二 流程分析16     先GET:https://github.com/login拿到初始cookie与authenticity_token17     返回POST:https://github.com/session, 带上初始cookie,带上请求体(authenticity_token,用户名,密码等)18     最后拿到登录cookie19 20     ps:如果密码时密文形式,则可以先输错账号,输对密码,然后到浏览器中拿到加密后的密码,github的密码是明文21 '''22 23 import requests24 import re25 26 #第一次请求27 r1=requests.get('https://github.com/login')28 r1_cookie=r1.cookies.get_dict() #拿到初始cookie(未被授权)29 authenticity_token=re.findall(r'name="authenticity_token".*?value="(.*?)"',r1.text)[0] #从页面中拿到CSRF TOKEN30 31 #第二次请求:带着初始cookie和TOKEN发送POST请求给登录页面,带上账号密码32 data={33     'commit':'Sign in',34     'utf8':'✓',35     'authenticity_token':authenticity_token,36     'login':'317828332@qq.com',37     'password':'alex3714'38 }39 r2=requests.post('https://github.com/session',40              data=data,41              cookies=r1_cookie42              )43 44 45 login_cookie=r2.cookies.get_dict()46 47 48 #第三次请求:以后的登录,拿着login_cookie就可以,比如访问一些个人配置49 r3=requests.get('https://github.com/settings/emails',50                 cookies=login_cookie)51 52 print('317828332@qq.com' in r3.text) #True
自动登录github(自己处理cookie信息)
import requestsimport resession=requests.session()#第一次请求r1=session.get('https://github.com/login')authenticity_token=re.findall(r'name="authenticity_token".*?value="(.*?)"',r1.text)[0] #从页面中拿到CSRF TOKEN#第二次请求data={    'commit':'Sign in',    'utf8':'✓',    'authenticity_token':authenticity_token,    'login':'317828332@qq.com',    'password':'alex3714'}r2=session.post('https://github.com/session',             data=data,             )#第三次请求r3=session.get('https://github.com/settings/emails')print('317828332@qq.com' in r3.text) #Truerequests.session()自动帮我们保存cookie信息
request.session()自动帮我们保存cookie信息

3、补充

requests.post(url='xxxxxxxx',              data={
'xxx':'yyy'}) #没有指定请求头,#默认的请求头:application/x-www-form-urlencoed#如果我们自定义请求头是application/json,并且用data传值, 则服务端取不到值requests.post(url='', data={
'':1,}, headers={ 'content-type':'application/json' })requests.post(url='', json={
'':1,}, ) #默认的请求头:application/json
View Code

四 响应Response

1、response属性

import requestsrespone=requests.get('http://www.jianshu.com')# respone属性print(respone.text)print(respone.content)print(respone.status_code)print(respone.headers)print(respone.cookies)print(respone.cookies.get_dict())print(respone.cookies.items())print(respone.url)print(respone.history)print(respone.encoding)#关闭:response.close()from contextlib import closingwith closing(requests.get('xxx',stream=True)) as response:    for line in response.iter_content():    pass

2、编码的问题

#编码问题import requestsresponse=requests.get('http://www.autohome.com/news')# response.encoding='gbk' #汽车之家网站返回的页面内容为gb2312编码的,而requests的默认编码为ISO-8859-1,如果不设置成gbk则中文乱码print(response.text)
View Code

3、获取二进制数据

import requestsresponse=requests.get('https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000&sec=1509868306530&di=712e4ef3ab258b36e9f4b48e85a81c9d&imgtype=0&src=http%3A%2F%2Fc.hiphotos.baidu.com%2Fimage%2Fpic%2Fitem%2F11385343fbf2b211e1fb58a1c08065380dd78e0c.jpg')with open('a.jpg','wb') as f:    f.write(response.content)
#stream参数:一点一点的取,比如下载视频时,如果视频100G,用response.content然后一下子写到文件中是不合理的import requestsresponse=requests.get('https://gss3.baidu.com/6LZ0ej3k1Qd3ote6lo7D0j9wehsv/tieba-smallvideo-transcode/1767502_56ec685f9c7ec542eeaf6eac93a65dc7_6fe25cd1347c_3.mp4',                      stream=True)with open('b.mp4','wb') as f:    for line in response.iter_content():        f.write(line)
获取二进制流

4、解析json

#解析jsonimport requestsresponse=requests.get('http://httpbin.org/get')import jsonres1=json.loads(response.text) #太麻烦res2=response.json() #直接获取json数据print(res1 == res2) #True

5、Redirection and History

import requestsimport re#第一次请求r1=requests.get('https://github.com/login')r1_cookie=r1.cookies.get_dict() #拿到初始cookie(未被授权)authenticity_token=re.findall(r'name="authenticity_token".*?value="(.*?)"',r1.text)[0] #从页面中拿到CSRF TOKEN#第二次请求:带着初始cookie和TOKEN发送POST请求给登录页面,带上账号密码data={    'commit':'Sign in',    'utf8':'✓',    'authenticity_token':authenticity_token,    'login':'317828332@qq.com',    'password':'alex3714'}#测试一:没有指定allow_redirects=False,则响应头中出现Location就跳转到新页面,r2代表新页面的responser2=requests.post('https://github.com/session',             data=data,             cookies=r1_cookie             )print(r2.status_code) #200print(r2.url) #看到的是跳转后的页面print(r2.history) #看到的是跳转前的responseprint(r2.history[0].text) #看到的是跳转前的response.text#测试二:指定allow_redirects=False,则响应头中即便出现Location也不会跳转到新页面,r2代表的仍然是老页面的responser2=requests.post('https://github.com/session',             data=data,             cookies=r1_cookie,             allow_redirects=False             )print(r2.status_code) #302print(r2.url) #看到的是跳转前的页面https://github.com/sessionprint(r2.history) #[]
View Code

五、高级用法

1、SSL Cert Verification

#证书验证(大部分网站都是https)import requestsrespone=requests.get('https://www.12306.cn') #如果是ssl请求,首先检查证书是否合法,不合法则报错,程序终端#改进1:去掉报错,但是会报警告import requestsrespone=requests.get('https://www.12306.cn',verify=False) #不验证证书,报警告,返回200print(respone.status_code)#改进2:去掉报错,并且去掉警报信息import requestsfrom requests.packages import urllib3urllib3.disable_warnings() #关闭警告respone=requests.get('https://www.12306.cn',verify=False)print(respone.status_code)#改进3:加上证书#很多网站都是https,但是不用证书也可以访问,大多数情况都是可以携带也可以不携带证书#知乎\百度等都是可带可不带#有硬性要求的,则必须带,比如对于定向的用户,拿到证书后才有权限访问某个特定网站import requestsrespone=requests.get('https://www.12306.cn',                     cert=('/path/server.crt',                           '/path/key'))print(respone.status_code)
View Code

2、使用代理

#官网链接: http://docs.python-requests.org/en/master/user/advanced/#proxies#代理设置:先发送请求给代理,然后由代理帮忙发送(封ip是常见的事情)import requestsproxies={    'http':'http://egon:123@localhost:9743',#带用户名密码的代理,@符号前是用户名与密码    'http':'http://localhost:9743',    'https':'https://localhost:9743',}respone=requests.get('https://www.12306.cn',                     proxies=proxies)print(respone.status_code)#支持socks代理,安装:pip install requests[socks]import requestsproxies = {    'http': 'socks5://user:pass@host:port',    'https': 'socks5://user:pass@host:port'}respone=requests.get('https://www.12306.cn',                     proxies=proxies)print(respone.status_code)
View Code

3、超时设置

#超时设置#两种超时:float or tuple#timeout=0.1 #代表接收数据的超时时间#timeout=(0.1,0.2)#0.1代表链接超时  0.2代表接收数据的超时时间import requestsrespone=requests.get('https://www.baidu.com',                     timeout=0.0001)
View Code

4、认证设置

#官网链接:http://docs.python-requests.org/en/master/user/authentication/#认证设置:登陆网站是,弹出一个框,要求你输入用户名密码(与alter很类似),此时是无法获取html的# 但本质原理是拼接成请求头发送#         r.headers['Authorization'] = _basic_auth_str(self.username, self.password)# 一般的网站都不用默认的加密方式,都是自己写# 那么我们就需要按照网站的加密方式,自己写一个类似于_basic_auth_str的方法# 得到加密字符串后添加到请求头#         r.headers['Authorization'] =func('.....')#看一看默认的加密方式吧,通常网站都不会用默认的加密设置import requestsfrom requests.auth import HTTPBasicAuthr=requests.get('xxx',auth=HTTPBasicAuth('user','password'))print(r.status_code)#HTTPBasicAuth可以简写为如下格式import requestsr=requests.get('xxx',auth=('user','password'))print(r.status_code)
View Code

5、异常处理

#异常处理import requestsfrom requests.exceptions import * #可以查看requests.exceptions获取异常类型try:    r=requests.get('http://www.baidu.com',timeout=0.00001)except ReadTimeout:    print('===:')# except ConnectionError: #网络不通#     print('-----')# except Timeout:#     print('aaaaa')except RequestException:    print('Error')
View Code

6、上传文件

import requestsfiles={
'file':open('a.jpg','rb')}respone=requests.post('http://httpbin.org/post',files=files)print(respone.status_code)
View Code

 

转载于:https://www.cnblogs.com/Xuuuuuu/p/10751823.html

你可能感兴趣的文章
02-Java中的对象和类
查看>>
if 判断语句
查看>>
tornado+websocket+mongodb实现在线视屏文字聊天
查看>>
如何使用VSTS做压力测试
查看>>
生成树计数算法
查看>>
VS10_慢_优化
查看>>
二维数组赋值
查看>>
java语言之面向对象的概念和和类与对象的基础知识
查看>>
python之复数
查看>>
(转)dp和dip是同一个单位
查看>>
ios 程序发布使用xcode工具Application Loader 正在通过ITUNES STORE进行鉴定错误
查看>>
Spark 调优
查看>>
[工具]类QQ消息通知,提示博客园发布新文章(一)
查看>>
react 学习前期用到的插件
查看>>
PAT1040. Longest Symmetric String (25)(回文串:dp)
查看>>
BZOJ1854: [Scoi2010]游戏 二分图
查看>>
简单的正则表达式方法字符串替换
查看>>
第三章:垃圾回收器-年轻代收集器
查看>>
页面置换算法
查看>>
Queries Union
查看>>