Python—requests处理cookie


requests处理cookie

  • 一，为什么要处理cookie
  • 二，爬虫中使用cookie的利弊
  • 三，发送请求时添加cookie
    • 方法一，将cookie添加到headers中
    • 方法二 ： 使用cookies参数接收字典形式的cookie
    • 四，获取响应时提取cookie
      • 1，方法介绍

一，为什么要处理cookie

  • 为了能够通过爬虫获取到登录后的页面，或者是解决通过cookie的反扒，需要使用request来处理cookie相关的请求

二，爬虫中使用cookie的利弊

  1. 带上cookie的好处
    能够访问登录后的页面
    能够实现部分反反爬

  2. 带上cookie的坏处
    一套cookie往往对应的是一个用户的信息，请求太频繁有更大的可能性被对方识别为爬虫
    那么上面的问题如何解决 ?使用多个账号

三，发送请求时添加cookie

有三种方法在请求的时候添加cookie

  1. cookie字符串放在headers中
  2. 把cookie字典传给请求方法的cookies参数接收
  3. 使用requests提供的session模块

方法一，将cookie添加到headers中

  1. headers中cookie的位置
    在这里插入图片描述
  • 使用分号 : 隔开
  • 分号两边的类似a=b形式的表示一条cookie
  • a=b中，a表示键（name），b表示值（value）
  • 在headers中仅仅使用了cookie的name和value

例如：

1
2
3
4
5
6
headers = {<!-- -->
    "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36",
    "Cookie":" Pycharm-26c2d973=dbb9b300-2483-478f-9f5a-16ca4580177e; Hm_lvt_98b9d8c2fd6608d564bf2ac2ae642948=1512607763; Pycharm-26c2d974=f645329f-338e-486c-82c2-29e2a0205c74; _xsrf=2|d1a3d8ea|c5b07851cbce048bd5453846445de19d|1522379036"
}

requests.get(url, headers=headers)

这里需要注意：

  • cookie有过期时间 ，所以直接复制浏览器中的cookie可能意味着下一次运行程序时需要替换代码中的cookie，对应的我们也可以通过一个程序专门来获取cookie供其他程序使用；当然也有很多网站的cookie过期时间很长，这种情况下，直接复制cookie来使用更加简单

方法二 ： 使用cookies参数接收字典形式的cookie

cookies的形式：字典

1
cookies = {<!-- -->"cookie的name": "cookie的value"}

使用方法：

1
requests.get(url, headers=headers,cookies=cookie_dict)

四，获取响应时提取cookie

使用request获取的resposne对象，具有cookies属性，能够获取对方服务器设置在本地的cookie，但是如何使用这些cookie呢？

1，方法介绍

  • response.cookies是CookieJar类型
  • 使用requests.utils.dict_from_cookiejar，能够实现把cookiejar对象转化为字典
1
2
3
4
5
6
7
8
9
10
import requests

url = "https://www.baidu.com"
# 发送请求，获取resposne
r = requests.get(url)
print(type(r.cookies))

# 使用方法从cookiejar中提取数据
cookies = requests.utils.dict_from_cookiejar(r.cookies)
print(cookies)

注意：

  • 在前面的requests的session类中，我们不需要处理cookie的任何细节，如果有需要，我们可以使用上述方法来解决