折腾:
【未解决】如何破解大众点评网页爬取时的反扒验证verify.meituan.com
期间,
PySpider 禁止cookie
突然想到:
每次cookie设置为空
或许就能实现 禁止cookie的效果了
【总结】
此处通过全局设置cookies是空字典,间接的实现禁止cookie的效果:
class Handler(BaseHandler): crawl_config = { "proxy": ProxyUri, ... "cookies": {} }
或者可以每次
传递cookies参数为空字典:
self.crawl( childEnglishEntryUrl, callback=self.childEnglishEntryCallback, headers=self.genCurHeaders(), cookies={}, save=eachMainCity, )
也可以。
转载请注明:在路上 » 【已解决】PySpider中如何禁止cookie