最新消息:20210917 已从crifan.com换到crifan.org

【已解决】PySpider中如何禁止cookie

pyspider crifan 429浏览 0评论
折腾:
【未解决】如何破解大众点评网页爬取时的反扒验证verify.meituan.com
期间,
PySpider 禁止cookie
pyspider cookies问题,用requests设置cookies成功登录微博但在pyspider中失败 – 足兆叉虫的回答 – SegmentFault 思否
python – pyspider中cookies过期如何处理? – SegmentFault 思否
基于PySpider的weibo.cn爬虫 – 简书
PySpider Disable cookie
突然想到:
每次cookie设置为空
或许就能实现 禁止cookie的效果了
【总结】
此处通过全局设置cookies是空字典,间接的实现禁止cookie的效果:
class Handler(BaseHandler):
    crawl_config = {
        "proxy": ProxyUri,
        ...
        "cookies": {}
    }
或者可以每次
self.crawl – pyspider
传递cookies参数为空字典:
            self.crawl(
                childEnglishEntryUrl,
                callback=self.childEnglishEntryCallback,
                headers=self.genCurHeaders(),
                cookies={},
                save=eachMainCity,
            )
也可以。

转载请注明:在路上 » 【已解决】PySpider中如何禁止cookie

发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
93 queries in 0.187 seconds, using 23.38MB memory