微信登录

python requests请求库

第三方库 - requests - 请求库

requests库 的简介

Python 的 requests 库是一个简单易用的HTTP客户端，用于发送各种HTTP请求。它支持会话管理、持久连接、文件上传、Cookie处理等，并且可以自动处理JSON数据。requests 库的API设计直观，文档齐全，使得进行网页内容获取、API交互、网络调试等操作变得轻松。它广泛应用于数据抓取、网络服务测试和自动化脚本中，是Python网络编程中最受欢迎的库之一。

安装 requests库

  1. pip install requests

pip安装requests

包名 中文名 释义 url
requests==2.32.3 / /
├── certifi [required: >=2017.4.17, installed: 2024.8.30] / certifi 是 Python 的标准库，提供 Mozilla 可信任的 CA 证书集合。 /
├── charset-normalizer [required: >=2,<4, installed: 3.3.2] / charset-normalizer 是一个用于自动检测和规范化文本编码的 Python 库。它可以自动检测文本编码，然后将其转换为 Unicode 格式 /
├── idna [required: >=2.5,<4, installed: 3.10] / idna是Python库，用于处理国际化域名（IDN）的编码和解码。 /
└── urllib3 [required: >=1.21.1,<3, installed: 2.2.3] / urllib3是Python的HTTP客户端库，支持连接池、文件上传、长连接、HTTP/HTTPS等功能。 第三方库 - urllib3 - 请求库 
  1. 有两种方法，看最后__main__
  2. REQ(url,method)  # 普通请求
  3. # REQ_sess()  # session对象

使用请求库 requests 例子

  2. import requests
  3. def REQ(url,method,params=None, data=None,headers=None, json_data=None, files=None, cookies=None, 
  4.         auth=None, timeout=None, allow_redirects=True, proxies=None, hooks=None,stream=None, verify=None,cert=None):
  5.     try:
  6.         print("REQ")
  7.         # url
  8.         url = url
  9.         # 请求方式
  10.         method = method
  11.         # url ? 后的参数
  12.         params = params
  13.         # params = {'参数名1':'参数值1', '参数名2':'参数值2'}
  14.         # 传输的数据
  15.         data = data
  16.         # data = {"email":"111111111@163.com", "password":"111111111"}
  17.         # 使用application/form-urlencode 方式提交请求
  18.         # request.body的内容则为a=1&b=2
  19.         # json
  20.         json_data = json_data
  21.         # 使用application/json方式提交请求
  22.         # request.body的内容则为'{"a"：1，"b"：2}'
  23.         # 文件
  24.         files = files
  25.         # with open('xxx.jpg','rb') as f2:
  26.         #     files = f2.read()
  27.         # 请求头
  28.         # headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}
  29.         headers = headers
  30.         cookies = cookies
  31.         # web客户端验证
  32.         auth = auth
  33.         # auth = (账户名, 密码)
  34.         # auth=('test', '123456')
  35.         # 超时，单位秒，s
  36.         timeout = timeout
  37.         # 请求连接超时，会触发
  38.         # 读取超时，数据大超时，不会触发
  39.         # 重定向
  40.         allow_redirects = allow_redirects  # True/False
  41.         # 有的url会自动跳转，所以可以用False来禁止跳转
  42.         # 代理
  43.         proxies = proxies
  44.         # 根据协议类型，选择不同的代理
  45.         # proxies = {
  46.         # "http": "http://11.11.11.11:1111",
  47.         # "https": "http://11.11.11.11:1111", }
  48.         # 私密代理， 如果代理需要使用HTTP Basic Auth，可以使用下面这种格式：
  49.         # proxy = { "http": "mr_mao_hacker:sffqry9r@11.111.111.111:11111" }
  50.         # 钩子函数
  51.         hooks = hooks
  52.         # hooks = {'response': ResponseHook}
  53.         # 捎带执行（钩上）某个自定义的方法
  54.         # 还可以定义ResponseHook()函数
  55.         # 分段下载
  56.         stream = stream
  57.         # stream = False  # 关闭，默认
  58.         # stream = True  # 开启
  59.         # 返回时验证证书
  60.         verify = verify
  61.         # 检测是否信任，有时候会看到一些警告的网站会报警告
  62.         # verify=True
  63.         # True 表示要验证，报错的话会：
  64.         # SSLError: ("bad handshake: Error([('SSL routines', 
  65.         # 'ssl3_get_server_certificate', 'certificate verify failed')],)",)
  66.         # 请求时加上证书
  67.         cert = cert
  68.         # cert=('/path/server.crt', '/path/key')
  70.         response = requests.request(method, url, 
  71.             params=params, 
  72.             data=data, 
  73.             headers=headers, 
  74.             cookies=cookies, 
  75.             files=files,
  76.             auth=auth, 
  77.             timeout=timeout, 
  78.             allow_redirects=allow_redirects, 
  79.             proxies=proxies,
  80.             hooks=hooks, 
  81.             stream=stream, 
  82.             verify=verify, 
  83.             cert=cert, 
  84.             json=json)
  86.         # 分段下载
  87.         # f = open("file_path", "wb")
  88.         # for chunk in response.iter_content(chunk_size=512):    # 按照块的大小读取
  89.         # # for chunk in response.iter_lines():    # 按照一行一行的读取
  90.         #     if chunk:
  91.         #         f.write(chunk)
  92.         # response.close()  # 关闭连接（因为分段链接没有断）
  94.         # 查看响应内容
  95.         print(response.text)
  96.         # response.text 返回的是Unicode格式的数据
  98.         # 查看响应内容
  99.         print(response.content)
  100.         # response.content返回的字节流数据
  101.         # 返回的是服务器响应数据的原始二进制字节流
  102.         # 可以用来保存图片等二进制文件
  104.         print(response.url)  # 查看完整url地址
  105.         print(response.encoding)  # 查看响应头部字符编码
  106.         print(response.status_code)  # 查看响应码
  108.         # Cookies
  109.         cookiejar = response.cookies
  110.         # 返回CookieJar对象:
  111.         print(cookiejar)
  112.         # <RequestsCookieJar[<Cookie BAIDUID=6B3B3B9EAA4D5555F362C3946E555555:FG=1 for .baidu.com/>, 
  113.         # <Cookie BIDUPSID=6B3B3B9EAA4D2718CA521FA514B1E03E for .baidu.com/>, 
  114.         # <Cookie H_PS_PSSID=88888_00000_99999_36422_88888_77777_66666_66666_55555_44444_33333_22222_11111 for .baidu.com/>, 
  115.         # <Cookie PSTM=1122223333 for .baidu.com/>, 
  116.         # <Cookie BDSVRTM=0 for www.baidu.com/>, 
  117.         # <Cookie BD_HOME=1 for www.baidu.com/>]>
  118.         # 将CookieJar转为字典：
  119.         cookiedict = requests.utils.dict_from_cookiejar(cookiejar)
  120.         print(cookiedict)
  121.         # {'BAIDUID': '6B3B3B9EAA4D5555F362C3946E555555:FG=1', 
  122.         # 'BIDUPSID': '6B3A3B9ECC4D2718AC521AC222B1F03E', 
  123.         # 'H_PS_PSSID': '88888_00000_99999_36422_88888_77777_66666_66666_55555_44444_33333_22222_11111', 
  124.         # 'PSTM': '1122223333', 
  125.         # 'BDSVRTM': '0', 
  126.         # 'BD_HOME': '1'}
  127.         return response
  128.         # 获得数据
  129.         # data = json.loads(data.text)
  130.         # print(data)
  131.     except:
  132.         print("run方法失败")
  133.         raise
  136. def REQ_sess():
  137.     try:
  138.         print("REQ_sess")
  140.         # 数据
  141.         data = {"email":"111111111@163.com", "password":"111111111"}
  143.         # 请求头
  144.         headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}
  145.         # 1. 创建session对象，可以保存Cookie值
  146.         ssion = requests.session()
  148.         # 2. 发送附带用户名和密码的请求，并获取登录后的Cookie值，保存在ssion里
  149.         ssion.post("http://www.renren.com/PLogin.do", data = data)  
  151.         # 3. ssion包含用户登录后的Cookie值，可以直接访问那些登录后才可以访问的页面
  152.         response = ssion.get("http://www.renren.com/1111111111/profile")
  154.         # 查看响应内容
  155.         print(response.text)
  156.         # response.text 返回的是Unicode格式的数据
  158.         # 查看响应内容
  159.         print(response.content)
  160.         # response.content返回的字节流数据
  161.         # 返回的是服务器响应数据的原始二进制字节流
  162.         # 可以用来保存图片等二进制文件
  164.         # 查看完整url地址
  165.         print(response.url)
  167.         # 查看响应头部字符编码
  168.         print(response.encoding)
  170.         # 查看响应码
  171.         print(response.status_code)
  173.         # Cookies
  174.         cookiejar = response.cookies
  175.         # 返回CookieJar对象:
  176.         print(cookiejar)
  177.         # <RequestsCookieJar[<Cookie BAIDUID=6B3B3B9EAA4D5555F362C3946E555555:FG=1 for .baidu.com/>, 
  178.         # <Cookie BIDUPSID=6B3B3B9EAA4D2718CA521FA514B1E03E for .baidu.com/>, 
  179.         # <Cookie H_PS_PSSID=88888_00000_99999_36422_88888_77777_66666_66666_55555_44444_33333_22222_11111 for .baidu.com/>, 
  180.         # <Cookie PSTM=1122223333 for .baidu.com/>, 
  181.         # <Cookie BDSVRTM=0 for www.baidu.com/>, 
  182.         # <Cookie BD_HOME=1 for www.baidu.com/>]>
  183.         # 将CookieJar转为字典：
  184.         cookiedict = requests.utils.dict_from_cookiejar(cookiejar)
  185.         print(cookiedict)
  186.         # {'BAIDUID': '6B3B3B9EAA4D5555F362C3946E555555:FG=1', 
  187.         # 'BIDUPSID': '6B3A3B9ECC4D2718AC521AC222B1F03E', 
  188.         # 'H_PS_PSSID': '88888_00000_99999_36422_88888_77777_66666_66666_55555_44444_33333_22222_11111', 
  189.         # 'PSTM': '1122223333', 
  190.         # 'BDSVRTM': '0', 
  191.         # 'BD_HOME': '1'}
  192.         return
  193.     except:
  194.         print("run方法失败")
  195.         raise
  199. # 钩子函数
  200. def ResponseHook(res, *args, **kwargs):
  201.     print('url', res.url)
  202.     # return  # 不能返回有意义的数据哦！
  206. if __name__ == "__main__":
  207.     REQ(url,method)  # 普通请求
  208.     # REQ_sess()  # session对象

精彩教程

.bat程序教程
python入门基础教程
Pandas教程
Pygame教程
Django3.2.9教程
Flask1.1.1教程
python3.X - 区块链教程
Java教程
Spring教程
C#教程
PHP教程
R教程
Node.js教程
mysql数据库教程
Redis数据库教程
MongoDB数据库教程
RabbitMQ教程
Lua教程
FindBI教程
HTML5教程
CSS教程
Javascript教程
jQuery教程
微信小程序教程
微信小游戏教程
Vue.js教程
服务器教程
TensorFlow教程
PyTorch教程
Unity教程
Objective-C教程
Android教程
AppleScript教程
Mac - SHELL教程
算法教程
Python教程
数据库教程
运维工具教程
Nginx教程
Docker教程